動察 Beatingのモニタリングによると、GoogleはGemma 4大規模モデル向けの量子化圧縮版モデルウェイトを公開しました。量子化とは、数値精度を低下させることでモデルサイズを縮小する技術ですが、通常はモデルの性能低下を招きます。精度損失の問題を解決するため、Googleは今回、量子化認識トレーニング技術を採用し、モデルのトレーニング過程で圧縮状態を事前にシミュレートし、モデルが低精度動作に適応するよう自動調整させることで、モデルサイズを大幅に縮小しつつ、高い知能レベルを維持しています。
専用のモバイル端末向け圧縮技術により、Gemma 4 E2Bテキストモデルはスマートフォンなどのエッジデバイス上で動作する際のメモリ使用量を1GB未満に抑えることが可能です。スマートフォンでのローカル動作を十分にスムーズにするため、Googleはモバイルチップ向けに特化した最適化を施しました。開発チームは大部分の計算処理をトレーニング段階で事前に完了させることで、スマートフォンチップのリアルタイム負荷を軽減し、スマートフォンハードウェアにより適した計算構造を用いてネイティブアクセラレーションを実現しています。また、語彙表とキャッシュの深度圧縮も実施。さらに、トークン生成を担当する特定の層には2ビットの極度圧縮を適用し、コア推論層の高精度のみを維持することで、ストレージ容量を最大限節約しつつ、コアロジック性能に影響を与えないようにしています。
新しいモデルウェイトは現在、Hugging Faceでオープンソース公開されています。個人ユーザーはOllamaやLM Studioを通じて、パソコンに直接ダウンロードしてローカルで実行できます。モバイル端末やウェブ向けの開発者向けには、新しいウェイトがLiteRT-LMエンジンをサポートしており、Transformers.jsを通じてウェブ上で直接実行することも可能です。同時に、vLLM、SGLang、AppleチップアクセラレーションツールMLXも互換性の適応を完了しており、開発者が迅速にデプロイできるようになっています。