半導体専門家：AI計算能力のボトルネックはチップからパッケージング、相互接続、ストレージへと移行しつつある

動察 Beating AI 速報、ベテランチップ設計者でハードウェアアナリストの「Mr. Bubble」氏は、Frictionless Podcastのインタビューで、AIコンピューティングインフラの核心的なボトルネックは、単純にチップのコンピューティング能力を向上させることから、先端パッケージング、システム相互接続の遅延、およびメモリ階層管理へと移行しつつあると述べた。

Mr. Bubble氏は、先端プロセスのコストが急速に上昇する一方で、トランジスタ密度の向上幅は限定的であり、従来のムーアの法則は経済性の課題に直面していると考える。プロセスの微細化を続けるよりも、業界は先端パッケージングによって複数のチップを一つの計算システムとして接続する方向へとより多く移行している。同氏は、将来のAIコンピューティングの基本単位はもはや単一のチップやサーバーではなく、完全なラック、さらには複数のラックになる可能性があり、PCB、パッケージング、相互接続能力が重要な制限要因になると指摘した。

メモリに関しては、AI推論のコンテキストウィンドウが拡大するにつれて、膨大な履歴コンテキストをすべて高価なHBMに載せるべきではなく、業界はより多くフラッシュメモリへのオフロードを採用し、高頻度データはHBMに残し、低頻度のコンテキストはより大容量で低コストのストレージ層へ移行させる可能性があると述べた。さらに同氏は、3D DRAMが次世代メモリ技術の重要な方向性になる可能性があると予測した。

AIインフラ投資について、Mr. Bubble氏は、プリフィルとデコードが段階的に分離アーキテクチャを採用するにつれて、システムレベルのハードウェア設計の重要性がさらに高まると考える。また同氏は、大規模モデル企業に直接賭けるよりも、ハードウェア、パッケージング、ストレージ、その他の重要なインフラ能力を持つ企業の方が、AI産業チェーンにおいてより長期的な役割を果たす可能性があると述べた。