lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

豆包の音声・ビデオ通話モデルがAPIを公開:AIは見ながら聞きながら話すことができ、自ら話しかけることもできる

動察 Beating AI 速報、11月19日、火山引擎が豆包リアルタイム音声・映像モデル SeedRealtime 1.0 の API を正式に公開した。このモデルは今年8月にすでに豆包アプリで提供開始されており、今後はサードパーティ開発者もこのリアルタイムビデオ通話機能を自社製品に組み込めるようになる。


SeedRealtime はカメラ映像、音声、時間順序を同一のエンドツーエンドモデルに取り込む。AI は観察しながらユーザーの話を聞き、同時にいつ話し始めるべきかを判断でき、従来の音声認識、視覚理解、音声合成など複数モジュールの直列接続による遅延や情報損失を軽減する。


公式デモでは、ユーザーがコーヒー豆をまるごとエスプレッソマシンの抽出ハンドルに投入すると、AI は質問を待たずに先に挽くよう促す。博物館では、ユーザーが見たい文物を事前に伝えるだけで、モデルがカメラ越しに継続的に観察し、目的のものが現れたときに主動的に知らせる。また複数人の会話を識別し、騒がしい環境で周囲の雑談による誤作動を避けることもできる。


字節跳動が今年8月に公表した人手評価によると、複数モデルを直列接続する方式と比べ、SeedRealtime は音声・映像対話のテンポの問題が約半分に減少し、話の遮り、応答の遅れ、背景ノイズによる誤作動などの現象が明らかに減少した。

举报 訂正/通報
関連おすすめ
Backpackの創業者Armaniは、CFTCのDCMおよびDCOライセンスを取得したと発表し、米国でSolanaベースのデリバティブ取引プラットフォームと清算機関を立ち上げる。彼らはすでに米国株のトークン化を実現し、従来の証券口座とSolanaウォレット間で自由に出入金できるようにしており、現在Solana上の一部銘柄の出来高はNYSEやNASDAQを超えている。今後は1万銘柄に拡大し、RFQやIntentsなどのコンポーネントを通じてネオ・ブローカレッジ時代を築き、Solanaを金融全体のAPIにすることを目指す。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了