動察 Beating AI 速報、11月19日、火山引擎が豆包リアルタイム音声・映像モデル SeedRealtime 1.0 の API を正式に公開した。このモデルは今年8月にすでに豆包アプリで提供開始されており、今後はサードパーティ開発者もこのリアルタイムビデオ通話機能を自社製品に組み込めるようになる。
SeedRealtime はカメラ映像、音声、時間順序を同一のエンドツーエンドモデルに取り込む。AI は観察しながらユーザーの話を聞き、同時にいつ話し始めるべきかを判断でき、従来の音声認識、視覚理解、音声合成など複数モジュールの直列接続による遅延や情報損失を軽減する。
公式デモでは、ユーザーがコーヒー豆をまるごとエスプレッソマシンの抽出ハンドルに投入すると、AI は質問を待たずに先に挽くよう促す。博物館では、ユーザーが見たい文物を事前に伝えるだけで、モデルがカメラ越しに継続的に観察し、目的のものが現れたときに主動的に知らせる。また複数人の会話を識別し、騒がしい環境で周囲の雑談による誤作動を避けることもできる。
字節跳動が今年8月に公表した人手評価によると、複数モデルを直列接続する方式と比べ、SeedRealtime は音声・映像対話のテンポの問題が約半分に減少し、話の遮り、応答の遅れ、背景ノイズによる誤作動などの現象が明らかに減少した。