マイクロソフトが2.8兆パラメータモデルの事前学習を完了：GPT-5.6ベースより強力、計算リソースはわずか4分の1

動察 Beating AI 速報、マイクロソフトは新一代自社開発モデル MAI-Base-2 の事前学習が完了したと発表した。モデルの総パラメータ数は2.8兆に達し、MoE 混合エキスパートアーキテクチャを採用し、毎回わずか800億パラメータのみを活性化する。

今年8月から9月にかけて、マイクロソフトは1.6万枚の NVIDIA GB200 GPU を動員し、38日間の学習を行い、約50兆トークンを処理した。新モデルはさらに初めてネイティブ視覚事前学習を導入し、視覚データが学習量の18%を占めている。

マイクロソフトが公開した内部テストによると、MAI-Base-2 はコード、質疑応答、数学、理工系科目のテキスト予測指標において、DeepSeek-V4-Pro-Base、Kimi K3、Qwen3.8 などのモデルを上回っている。

マイクロソフトはまた、DeepSeek-V4-Pro-Base と同等レベルのモデルを学習したいだけであれば、自社の手法では約1/4から1/12の計算資源しか必要としないと主張している。しかしマイクロソフトはさらに多くの計算資源を投入し続け、モデルをより大きく、より強力にしている。MAI-Base-2 が実際に消費した学習計算資源は依然として DeepSeek を上回っている。

マイクロソフトの AI 責任者 Mustafa Suleyman は10月15日の内部会議で、MAI-Base-2 の事前学習基盤はすでに GPT-5.6 Sol を支える OpenAI のモデルよりも強力であり、学習計算資源は後者の4分の1に過ぎないと述べた。

マイクロソフトは MoE エキスパートスケジューリング、Muon オプティマイザー、データ選別方法を改善し、VRAM の浪費を減らし、大規模学習の安定性を高めた。マイクロソフトはさらに、すべての学習データを自社で処理しており、他社のモデルを蒸留して能力を獲得したわけではないと強調している。

MAI-Base-2 は現在も後学習段階にあり、マイクロソフトはまず自社製品に使用し、その後 Foundry を通じて企業パートナーにモデルの重みをライセンス供与する計画である。