Gradiumが超小型音声モデルをオープンソース化：重みはわずか64MB、スマホがオフラインでも話せる

動察 Beating AI 速報、AI音声企業Gradiumが音声生成モデルPhononをオープンソース化。今年4月に約1億パラメータで非公開テストを開始し、今回3100万と4000万パラメータ版をリリースし、初めてモデルの重みを公開した。うち3100万パラメータ英語版のQ8重みはわずか64MBで、通常のCPUでも動作する。4000万パラメータ版は英・仏・独・西・葡の5言語に対応し、単言語モデルと5言語統合モデルを提供する。

Phononはより大きなモデルからの蒸留によって訓練された。テキストを直接読み取り、音素への変換を必要とせず、Transformerで音声特徴を段階的に予測し、Mimiデコーダで音声を生成する。各出力は80ミリ秒の音声に対応し、文全体の生成を待たずに合成しながら再生できる。

速度面では、GradiumはPhononがSnapdragon 8 Elite Gen 5上で最初の音声を生成するのにわずか7.5ミリ秒、合成速度はリアルタイムの24倍に達すると明らかにした。MacBook Air M5のCPUでは、初音声は約7ミリ秒である。

音質面では、Gradiumは1189名の試聴者を組織し、1.7万回以上のブラインド聴取投票を完了した。3100万パラメータ英語版は2098 Eloを獲得し、1億パラメータのPocket TTSの2056を上回った。電話番号やメールアドレスなどの複雑なテキストを含む500文の英語テストでは、Phononの単語誤り率は1.7%で、別の8200万パラメータオープンソース音声モデルKokoroの3.5%を下回った。これらの成績はすべてGradiumが公表したテストによるものである。

PhononはOllama、MLX-Audioなどのツールに統合済みである。提携先のXybridはさらに、16GB M1 Pro MacBook上で8B Agent、Whisper、Phononを同時に実行し、3Dゲームキャラクターが完全にオフラインの状態でリアルタイムに対話できるようにした。

現在、3100万パラメータ英語版のみがApache 2.0ライセンスを採用し、商用利用が許可されている。4000万パラメータおよび多言語版はCC BY-NCライセンスを採用し、商用には別途許諾が必要である。中国語モデルは未リリースである。