SemiAnalysis：Kimi K3はKV転送帯域幅を大幅に削減するが、AIネットワークの需要は縮小しない。

BlockBeats ニュース、7月19日、半導体とAIの独立系調査機関SemiAnalysisは、Kimi K3の約4分の3のネットワーク層がKDAを採用しているため、完全なグローバルアテンションモデルと比較してKVキャッシュ転送帯域幅を最大10倍削減できるものの、これはAIネットワークスイッチ市場規模が大幅に縮小することを意味しないと述べた。

Kimi K3は2.8兆のパラメータを持ち、MXFP4を採用した場合でも、毎回のフォワード計算に約1.5TBのHBM帯域幅が必要となる。合理的なインタラクション速度を維持しつつ収益性のある展開を実現するには、依然としてGB300 NVL72などの高帯域幅ネットワークを介して多数のチップを接続し、WideEP拡張サービスに依存する必要がある。

WideEPは896のエキスパートモデルを複数のGPUに分散し、各層、各フォワード計算で2回のトークン配布と結果マージを実行するため、単一のフォワード計算で120回以上の処理が必要となる。これに対し、プリフィルとデコード間のKVキャッシュ転送は会話ごとに1回のみ発生するため、KDAによる帯域幅節約効果は、大規模エキスパートモデルによるネットワーク拡張需要よりもはるかに小さい可能性がある。

SemiAnalysisは、より効率的なアテンションメカニズムにより、コンテキスト長が100万トークンから500万トークン以上に拡大する可能性があると指摘。ジェボンズのパラドックスに従えば、効率向上はAI利用規模を拡大させ、結果的にネットワーク需要をさらに増加させる可能性がある。