動察Beatingのモニタリングによると、英国『フィナンシャル・タイムズ』は3人の関係者の話として、バイトダンスが最高10兆パラメータの大規模モデルの事前学習を開始したと報じた。プロジェクトはまだ初期段階にあり、最終的な規模は未確定だ。上限でトレーニングした場合、Kimi K3の3倍以上となり、現在知られている中国チームの中で最大のパラメータ規模のモデルとなる。
バイトダンスは今回、モデルサイズを直接Anthropicのフラッグシップ付近まで押し上げた。AnthropicはMythos 5のパラメータ数を公表したことはないが、『フィナンシャル・タイムズ』は業界の試算として、Mythos 5は約8兆パラメータ、Fable 5は約5兆パラメータと報じている。バイトダンスの新モデルが10兆に達すれば、少なくともパラメータ規模では米国の最先端クローズドソースモデルと同じ水準に入る。
このモデルは現在まだ事前学習段階(膨大なデータでモデルの基礎能力を訓練する段階)にある。『フィナンシャル・タイムズ』によると、この段階は通常3〜6か月かかり、その後さらに後続学習を続け、順調に進めば公開される。パラメータが多いほど能力が必ず強いとは限らず、最終的な性能はアーキテクチャ、トレーニングデータ、トレーニング方法にも依存する。
張一鳴氏は最近、Seed内部で競合他社モデルの蒸留に明確に反対し、チームに短期的な遅れを受け入れ、自社開発で世界のトップ層に挑むよう求めた。この最高10兆パラメータの新モデルは、バイトダンスにとってこれまでで最も積極的な規模への賭けである。