MistralがVoxtral 3を発表：音声認識、推論、ツール呼び出しをリアルタイムAgentに統合

動察 Beating AI 速報、フランスのAI企業MistralがVoxtral 3を発表した。3種類の音声転写モデル、1種類の音声合成モデル、そして完全なVoice Agent SDKを含む。

公式デモでは、あるユーザーが英語で皮膚科医の予約を希望した。AIはフランス語の紹介状を読み取り、システムを呼び出して空き時間を検索し、予約を完了した後に英語で確認した。このプロセス全体がリアルタイムの音声対話を通じて行われた。

Voxtral 3はすべてのタスクをこなすエンドツーエンドの音声大規模モデルではない。モジュール式設計を採用している。転写モデルが音声を認識し、ユーザーがいつ話し終えたかを判断し、Mistral Smallなどの汎用大規模モデルが推論とツールの呼び出しを担当し、音声合成モデルが回答を担当する。LiveKitベースのSDKがこれらの要素をリアルタイムパイプラインとしてつなぎ、電話やウェブ通話をサポートし、ユーザーがいつでも割り込めるようにする。Mistralは1ターンのインタラクション遅延が1秒未満だと主張している。開発者は推論モデルや音声モデルを個別に置き換えることもできる。

転写がサポートする言語は前世代の13言語から50言語以上に拡大し、音声合成は35言語以上と50以上の方言をサポートする。Artificial Analysisの独立した非リアルタイム転写テストでは、Voxtral Small Transcribe 3の単語誤り率は2.1%で、AlibabaとMicrosoftのモデルに次いで3位となった。音声合成は13位だった。

APIのリアルタイム転写は1分あたり0.008ドル、音声合成は100万文字あたり13ドル。企業はMistralに連絡し、自社サーバーやプライベートクラウドにデプロイすることもできる。