lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

国内の計算能力におけるマイルストーン:千基の昇騰910CがDeepSeek 1.6兆パラメータモデルの全パラメータ事後学習を達成

動察 Beatingのモニタリングによると、深圳河套学院、ハルビン工業大学(深圳)、深圳市ビッグデータ研究院、華為関連チームが連携し、深智城AI計算プラットフォームと協力した共同研究チームが、国産AI計算プラットフォーム上で1.6兆パラメータの大規模モデルDeepSeek-V4-Proの全パラメータポストトレーニング(Post-training)を成功裏に実行したことを発表しました。

これは、世界の第三者機関が初めて国産計算プラットフォーム上で1.6兆パラメータ規模のモデルの全パラメータポストトレーニングを完了した事例です。

ゼロからのプリトレーニング(Pre-training)と比較して、ポストトレーニング段階(主に教師ありファインチューニングSFTと強化学習RLを含む)は、高品質な指示と人間の嗜好アライメントを通じて、モデルに指示に従い特定タスクを実行するよう教えることに重点を置いています。しかし、1.6兆パラメータのMoEアーキテクチャモデルにとって、全パラメータポストトレーニングは、基盤となるハードウェアのメモリ容量、マルチカード間の通信帯域幅(MoEルーティングによって引き起こされる全対全通信など)、および大規模クラスタの安定性に対して非常に厳しい要件を課します。共同研究チームは、千枚以上のチップ規模の華為昇騰910C計算クラスタを活用し、分散負荷と負荷分散戦略を最適化することで、通信ボトルネックを克服しました。1500ステップ以上のトレーニングプロセス中、システムは一度も中断することなく、モデル計算効率(MFU)は30%を超え、主要オペレーターの効率は14%向上し、すべての指標が産業レベルの運用基準を達成しました。

業界分析によると、華為昇騰910Cクラスタが兆パラメータ級モデルのトレーニングを成功裏に実行したことは、国産AIチップが超大規模モデルの深層トレーニングタスクを担う技術的実現可能性を裏付けています。これまで大規模モデル開発の中核であるプリトレーニングは主にNVIDIA GPUクラスタに依存しており、国産計算リソースは主に推論(Inference)や小パラメータのファインチューニングタスクを担っていました。今回の共同研究の成功は、国産計算エコシステムが「推論のみのサポート」から「超大パラメータモデルの全パラメータトレーニングの実現」への技術的クロージングを加速していることを示しています。

举报 訂正/通報
関連おすすめ
技術は常に高尚な贅沢品であるべきではありません。
トレーニングと推論の敷居を下げることで、より多くの国内ストレージ、チップ、ネットワークメーカーをAIインフラ競争に参入させる
順調に進めば、早ければ今年の年末になります。
V4-Pro-Max(最高推論力モード)は、現在の最強オープンソースモデルとして位置付けられており、エンコードのベンチマークがトップレベルに達しており、推論とエージェントのタスクはプロプライエタリな先端技術との差が著しく縮小しています。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了