ファーウェイ昇騰950PRの行列計算速度はH100のわずか4割、DeepSeekはソフトウェアから性能を絞り出している

動察 Beating AI 速報、昨年、DeepSeek はファーウェイの昇騰チップを使って R2 のトレーニングを試みたが、ファーウェイのエンジニアが現場で支援しても実行できなかった。チップの安定性、カード間通信、ソフトウェアサポートに問題があった。今年、双方はさらに深い協力を続けている。9月末、DeepSeek は昇騰向けの適応コード6セットを集中的に公開した。10月には、ファーウェイが DeepSeek のモデル要件に合わせて次世代チップの設計を調整しているとの話も伝わった。

半導体調査機関 SemiAnalysis は最近、昇騰 950PR の実測結果を公表した。研究者は大規模モデルでよく使われる行列計算1055組を選び、ファーウェイ自身の低レベルプログラムが 950PR の到達可能な演算能力の86%を引き出しており、エヌビディア H100 の75.5%を上回っていることを発見した。しかし実際の演算速度は依然として H100 の43%にとどまり、より新しい B300 と比べると21%に過ぎない。

DeepSeek はソフトウェア側でデータ移動と待ち時間を減らしている。例えばアテンション計算を実行する際、本来は別々に読み取る必要があった2つのデータを、FlashMLA が保存方式を調整したことで一度に取得できる。もう一つのツール TileLang は、チップが計算しながら次のデータを事前に読み込めるようにする。SemiAnalysis の実測では、自動スケジューリングにより一部の小規模計算タスクの所要時間が最大約40%短縮された。DeepSeek は MoE エキスパート通信を担う DeepEP も移植したが、通信と計算は依然としてメモリ帯域を奪い合っており、ファーウェイはファームウェアの改良を続ける計画だ。

今回テストされた 950PR は主に推論の入力処理向けであり、DeepSeek が早ければ年末に大規模事前学習に使う準備をしているのは 950DT だ。これまで双方は千カード級のテストを実施してきたが、1万枚以上のチップで大規模モデルのトレーニングを連続して1ラウンド完了させるには、より複雑な協調と安定性の問題を解決する必要がある。