10万枚のBlackwellでGPT-6 Astraを訓練、中国の大規模モデルは計算能力でどこが遅れているのか？

動察 Beating AI 速報、NVIDIA CEOの黄仁勲氏は今朝、GPT-6 Astraのトレーニングに約10万枚以上のGrace Blackwell GPUを使用し、NVLink72で高速相互接続クラスタを構成したことを明らかにした。また、次回は40万枚のGPUが稼働予定だが、具体的なモデルと帰属先は明らかにしなかった。

Astraを基準とすると、中国のトップAIモデル企業の公開算力には依然として明らかな差がある。ByteDanceが現在最も近い存在で、今年マレーシア経由で約3.6万枚のB200を接続した。このチップはAstraが使用するGB200と同じBlackwell世代に属するが、算力は海外に展開されている。ByteDanceが今年中国国内のクラスタを公開紹介した際、主に使用されたのはHopperアーキテクチャの中国特供版H20とH800だった。

Kimiは最近、Alibaba経由で約2万枚のHopper GPUを取得したと報じられた。Bloombergの情報筋によると具体的にはH200とのことだが、AlibabaはH200というモデル名を否定した。H200は前世代のHopperに属し、B200はBlackwellにアップグレード済み。GB200はさらにGrace CPUとBlackwell GPUを組み合わせ、NVL72は72枚のGPUを同じ高速相互接続ドメインに配置できる。

DeepSeekはV4の完全なトレーニングハードウェアを公開していない。流出した梁文鋒氏の投資家説明会の書き起こし稿によると、同社は5月時点で約2万枚のH相当算力を持ち、その大部分が届いたばかりで、今後の調達は「基本的にすべてNVIDIA」とのこと。HuaweiがDeepSeekに提供する950の生産能力は約1.6万枚。梁文鋒氏は、この国産カードは約4000枚のNvidia Bシリーズに相当し、現在の世代のモデルトレーニングにのみ十分だと述べた。

一方、Astraが使用するBlackwellもすでにNvidiaの最新世代ではない。Vera Rubinは全面量産段階に入っている。NVIDIAの試算では、Rubinは大規模MoEモデルのトレーニングに必要なGPU数をBlackwellの4分の1に削減できる。

公開資料では、中国企業が10万枚の同世代先進GPUを1回のモデルトレーニングに使用した事例を開示したことはまだない。したがって、中米AI企業の公開で見える差は、もはや単なるカードの枚数ではなく、どの世代のカードを入手できるか、そして1つのモデルに一度に何枚を集中投入できるかにある。