動察 Beatingのモニタリングによると、Googleは実験的なオープンソース大規模モデル「DiffusionGemma」を公開しました。これは拡散(diffusion)に基づく全く新しいテキスト生成メカニズムを採用し、従来の大規模言語モデルにおける単語ごとの順次生成の制約を打破しています。DiffusionGemmaは総パラメータ数26Bで、混合エキスパート(MoE)アーキテクチャのもと、各フォワード伝搬でわずか3.8Bのパラメータのみを活性化し、テキストブロックを並行生成することで、ローカルGPU推論において最大4倍の速度向上を実現します。
従来の「タイプライター式」の単語ごとの生成とは異なり、DiffusionGemmaの動作原理は画像生成に似ており、まずキャンバス上にランダムなプレースホルダーを生成し、その後複数回のタイムステップ反復を通じてノイズを除去し、正しいテキストを確定します。各フォワード伝搬で256個のトークンを並行生成でき、すべてのトークンが双方向アテンション相互作用を実現します。双方向アテンション機構は、コード補完、インライン編集、数式生成などの非線形生成タスクにおいて顕著な優位性を持ちますが、DiffusionGemmaの全体的な出力品質は現在、標準のGemma 4には及んでいません。
ハードウェアテストと推論速度のパフォーマンスでは、単一のNVIDIA H100 GPUで毎秒1000トークン以上の生成速度を達成し、コンシューマー向けNVIDIA GeForce RTX 5090 GPUでも700トークンを超えています。4ビット浮動小数点(NVFP4)量子化後、推論時のメモリ使用量は18GB未満に抑えられ、ローカルデプロイのハードルを大幅に低減します。
DiffusionGemmaの重みはHugging Faceでオープンソース化されており、MLX、vLLM、Unsloth、NVIDIA NeMoなどの主要な開発ツールがサポートしています。