兆パラメータでも汚いデータは救えない、国内の大規模モデルが事前学習をやり直し始める

動察 Beating AI 速報、雷峰網によると、過去半年以上にわたり、複数の国内大規模モデルメーカーが事前学習をやり直し始めており、問題はいずれもデータに集約されている。

あるメーカーは約1年をかけて1兆パラメータのモデルを訓練したが、実際の効果はパラメータ数がわずか約1%の小規模モデルに逆転された。チームが最終的に突き止めた問題は訓練データにあった。ウェブのゴミ、重複コーパス、低品質なアノテーションが訓練セットに混入し、どんなに大きなモデルでも耐えられなかった。この事例は匿名の情報源によるもので、具体的な企業名はまだ公開されていない。

テンセントの混元はすでに一度、公開でやり直しを行った。今年2月から、チームは事前学習と強化学習のインフラを再構築した。以前メディアは、旧混元にベンチマーク用データが訓練セットに混入していたことや、アノテーション規則の混乱などの問題が存在すると報じていた。新チームはデータ基準を再定義し、既存のコーパスを洗浄し、Hy3もデータ品質と多様性を主要な改善項目に位置づけた。

アリババとバイドゥもデータガバナンスを強化している。Qwen3はQwen2.5シリーズのモデルで文書を洗浄し、数学とコードの合成データも大量に補充した。文心4.5は重複排除、低品質フィルタリング、データマップ、人手による再確認を追加した。両社は汚いデータが原因でやり直したと公には述べていないが、新世代モデルはいずれもデータ処理により多くの労力を費やしている。