動察 Beatingのモニタリングによると、深圳河套学院、ハルビン工業大学(深圳)、深圳市ビッグデータ研究院、華為関連チームが連携し、深智城AI計算プラットフォームと協力した共同研究チームが、国産AI計算プラットフォーム上で1.6兆パラメータの大規模モデルDeepSeek-V4-Proの全パラメータポストトレーニング(Post-training)を成功裏に実行したことを発表しました。
これは、世界の第三者機関が初めて国産計算プラットフォーム上で1.6兆パラメータ規模のモデルの全パラメータポストトレーニングを完了した事例です。
ゼロからのプリトレーニング(Pre-training)と比較して、ポストトレーニング段階(主に教師ありファインチューニングSFTと強化学習RLを含む)は、高品質な指示と人間の嗜好アライメントを通じて、モデルに指示に従い特定タスクを実行するよう教えることに重点を置いています。しかし、1.6兆パラメータのMoEアーキテクチャモデルにとって、全パラメータポストトレーニングは、基盤となるハードウェアのメモリ容量、マルチカード間の通信帯域幅(MoEルーティングによって引き起こされる全対全通信など)、および大規模クラスタの安定性に対して非常に厳しい要件を課します。共同研究チームは、千枚以上のチップ規模の華為昇騰910C計算クラスタを活用し、分散負荷と負荷分散戦略を最適化することで、通信ボトルネックを克服しました。1500ステップ以上のトレーニングプロセス中、システムは一度も中断することなく、モデル計算効率(MFU)は30%を超え、主要オペレーターの効率は14%向上し、すべての指標が産業レベルの運用基準を達成しました。
業界分析によると、華為昇騰910Cクラスタが兆パラメータ級モデルのトレーニングを成功裏に実行したことは、国産AIチップが超大規模モデルの深層トレーニングタスクを担う技術的実現可能性を裏付けています。これまで大規模モデル開発の中核であるプリトレーニングは主にNVIDIA GPUクラスタに依存しており、国産計算リソースは主に推論(Inference)や小パラメータのファインチューニングタスクを担っていました。今回の共同研究の成功は、国産計算エコシステムが「推論のみのサポート」から「超大パラメータモデルの全パラメータトレーニングの実現」への技術的クロージングを加速していることを示しています。