16か月ぶりに、Baiduは再び大規模モデルの全容を明らかにした。2800億パラメータの文心5.5 Flashをオープンソース化

動察 Beating AI 速報、Baiduが文心 ERNIE-5.5-Flash-Baseモデルの重みをオープンソース化。2025年6月の文心4.5シリーズ以来、約16か月ぶりにBaiduが千億パラメータ級の大規模モデルを再びオープンソース化した。その間にリリースされた文心5.0と5.1はいずれもオープンソース化されていない。

文心5.5 Flashは推論効率を重視し、総パラメータ数は2800億、トークンを1つ生成するごとに140億パラメータのみを活性化する。モデルは33.5兆トークンでゼロから事前学習され、最大100万トークンの推論コンテキストをサポートする。

Baiduは長文処理メカニズムも再設計した。43層のネットワークのうち、37層は128個の履歴トークンごとに1つのキャッシュレコードに圧縮し、残りの6層は元の内容に対する精細な検索能力を保持することで、長文処理のVRAMと計算オーバーヘッドを削減している。

公式はこれをDeepSeek-V4-Flash-Base、Tencent Hy3-preview-Base、Xiaomi MiMo-V2.5-Baseと統一評価し、30項目のベンチマークテストのうち24項目で1位を獲得した。

今回公開されたのは、中間学習と後学習を経ていない純テキストのBaseモデルであり、主に開発者がドメイン微調整、指示学習、強化学習を継続するために提供される。Baiduは、後学習を経た文心5.5 Flashも追ってリリースされると述べている。

ライセンスは前世代より厳格になっている。文心4.5はApache 2.0ライセンスを採用していたが、5.5 Flashはカスタムライセンスに変更され、EU、英国、韓国での使用は許諾されていない。関連製品またはサービスの過去連続12か月の売上高が5000万ドルを超える場合、商用利用前に別途Baiduの書面による許諾を取得する必要がある。