TL;DR

·AIのストレージ需要はHBMだけにとどまらない。トレーニングはHBM、システムDRAMからSSD、共有ストレージに至る完全なメモリ階層をほぼ動員する必要がある。

·推論の真のボトルネックはデコード段階で発生する。KVキャッシュはコンテキスト長と同時ユーザー数の増加に伴い拡大し、メモリ容量がモデル重みよりも早く商業化規模を制限する可能性がある。

·エージェントはストレージ圧力をさらに増幅させる。マルチステップ呼び出しは繰り返しコンテキストを生成し、外部ツールを呼び出し、CPU、DRAM、KVキャッシュの需要を増加させる。

·HBMと従来のSSDの間には、CXL、「Storage Next」、CMXなど複数の新たな階層が出現しており、いずれも低コストで拡大し続ける推論データを引き受けることを目指している。

·新しい技術ルートのすべてが実用化されるわけではない。HBF、zHBM、NVHBM、ZAM、PIMはそれぞれ放熱、歩留まり、エコシステム互換性、サプライチェーン利益の再配分などの課題に直面している。

·バーンスタインは引き続きサムスン電子、SKハイニックス、マイクロン、サンディスク、シーゲイト、ウエスタンデジタルに強気の見方を維持し、キオクシアには「アンダーパフォーム」の評価を維持している。

過去2年間、AIストレージの市場ストーリーはほぼHBMを中心に展開してきた。しかし、大規模モデルがトレーニングから大規模推論へ移行するにつれ、単純にHBMを増やすだけではすべての問題を解決できなくなっている。

バーンスタインが最新のグローバルストレージレポートで指摘したところによると、異なるAIワークロードがメモリに求める要件は明確に異なる：トレーニングは計算能力と帯域幅を重視し、推論のデコード段階は容量に依存し、RAGは大規模データベースを必要とし、エージェントワークフローは従来のサーバーとAIサーバーの両方の負担を同時に増加させる。

これは、AIによる変化がHBMからシステムDRAM、SSD、HDD、さらにはテープストレージへと下流に伝播していることを意味する。「メモリウォール」を巡り、産業チェーンは既存の階層間に新製品を挿入し始め、性能、容量、コストの間で新たなバランスを見つけようとしている。

推論規模の上限はKVキャッシュに依存する可能性がある

大規模モデルのトレーニング段階では、GPUとHBMが依然として中核的な位置を占めている。

トレーニングではモデルパラメータと中間データを頻繁に読み取る必要があり、計算能力とメモリ帯域幅の両方に対する要求が高い。しかし、大規模モデルのトレーニングはHBMだけに依存しているわけではない：元のデータセットはより低コストのストレージ媒体に保存する必要がある；データがGPUに入る前に、通常はシステムDRAMとローカルSSDがキャッシュと前処理を完了する必要がある；数週間から数ヶ月に及ぶトレーニングでは、ハードウェアやソフトウェアの障害でタスクが最初からやり直しにならないよう、定期的にチェックポイントを保存する必要がある。

そのため、大規模なトレーニングは実際にはHBM、システムDRAMからローカルSSD、ネットワークストレージに至るまでの完全な階層を呼び出すことになります。

推論段階に入ると、メモリ要件はさらに分化します。

推論は通常、プリフィル（Prefill）とデコード（Decode）の2つの段階に分けられます。プリフィルはユーザー入力を処理し、最初のトークンを生成する役割を担い、主に大規模な行列演算を実行するため、「計算能力制約」に偏ります。この段階では、GPU利用率とHBM帯域幅がより重要であり、一般的な指標はファーストトークン遅延です。

デコード段階は異なります。モデルはトークンを1つずつ生成し、新しいトークンを生成する際に以前に生成された情報を呼び出す必要があります。重複計算を避けるため、システムは通常これらのデータをKVキャッシュに保存します。

KVキャッシュには2つの重要な特徴があります。その容量はコンテキスト長に応じて線形に増加し、各ユーザーは独立したキャッシュを必要とします。そのため、コンテキストが長くなり、同時ユーザー数が増加すると、これら2つの要因が共同でメモリ使用量を押し上げます。

バーンスタインは、大規模AI展開において、KVキャッシュが占めるメモリがモデル重みを超える可能性があり、同時ユーザー数とコンテキストウィンドウを制限する主要な要因になると考えています。モデルがサービスを提供できるユーザー数と維持できるコンテキスト長は、最終的に収益規模に直接影響します。

この観点から見ると、推論時代の競争の焦点は、チップがどれだけの計算を完了できるかだけでなく、システムが拡大し続けるコンテキストをどれだけ低コストで保存・読み取りできるかにもあります。

RAGとAgent、需要を従来型メモリへと押し上げる

RAGとAgentの普及により、AIストレージ需要はさらにHBMの枠を超えて広がっています。

RAGは主にデータベース構築とデータベース検索の2つの段階を含みます。データベースを構築する際、システムはPDF、ウェブページ、コードなどの大量の非構造化データを処理し、それを検索可能なベクトルとインデックスに変換する必要があります。このプロセスは大容量SSDとシステムDRAMに依存しており、HBMの役割は比較的限定的です。

データベースが確立された後、ユーザークエリはまずベクトルに変換され、その後データベース内のコンテンツとマッチングされます。ベクトル生成はGPUとHBMで迅速に完了できますが、実際の検索は通常システムDRAMに依存します。検索結果はユーザーの質問と統合され、通常のプリフィルとデコードのフローに入ります。

Agentワークフローがもたらす負荷はさらに重くなります。

従来の対話は「入力—モデル—出力」という単発の呼び出しであるが、エージェントは目標を複数のステップに分解し、他のモデルや外部ツールを呼び出し、中間結果を保存し、フィードバックに基づいて再計画する必要がある。各呼び出しで生成された結果は、次のモデル呼び出しの入力となる可能性がある。

これにより、2種類のニーズが同時に増加する。一方で、ツール呼び出しや非AIタスクにはより多くのCPUとシステムメモリが必要となる。他方で、複数のモデル間でコンテキストが継続的に受け渡されることで、プリフィル、デコード、KVキャッシュの負担が急速に拡大する。

したがって、エージェントアプリケーションの発展はGPUやHBMにとって有利なだけでなく、サーバー用DRAM、エンタープライズSSD、およびより低コストのストレージメディアへの需要も押し上げる可能性がある。

HBMとSSDの間に、新たなメモリ階層が生まれつつある

従来のサーバーのメモリ体系は、おおよそプロセッサ内部キャッシュ、システムDRAM、ローカルSSD、共有ストレージに分類できる。AIサーバーはこの構造にHBMを追加しているが、HBMは容量が限られておりコストも高いため、すべてのデータを担うことは難しい。

現在、産業チェーンが取っている解決策は、異なる階層の間に新しい製品を追加することである。

CXLは、物理的に分散したメモリを共有リソースプールに統合し、CPU、GPU、拡張デバイスがより柔軟にDRAMを呼び出せるようにすることを目指している。一部の製品では、DRAMやSRAMをキャッシュとしてNANDと組み合わせ、コストを削減しながらアクセス遅延を短縮している。

NVIDIAが推進する「Storage Next」は、ストレージ管理の一部をCPUからGPUに移行し、NANDがDRAMに近い遅延、IOPS、データアクセス粒度を実現することを試みている。KioxiaがXL-FLASHを基に発表したGPシリーズSSDは、この方向性を代表するものである。

CMXは主にKVキャッシュを対象としている。SSDを独立したデータノードに配置し、DPU、イーサネット、スイッチチップを介して計算ノードと接続する。その目標は、異なるGPU間で推論コンテキストを共有し、重複ストレージを削減すると同時に、単一サーバーのメモリ容量制限を突破することである。

これらのソリューションは共通して同じトレンドを指し示している。AIシステムはすべてのアクティブデータを長期間HBMに保持することはできず、データのアクセス頻度と遅延要件に応じて、異なる階層に分散させる必要がある。

ホットデータはHBMに残り、一部のコンテキストはシステムDRAMや高性能SSDに移され、よりコールドなデータは通常のSSD、HDD、さらにはテープにまで沈んでいく。メモリ階層が細かくなるほど、システムは性能とコストのバランスを取れる可能性が高まる。

新技術が密集して登場する一方、商業化には依然として不確実性が残る

「メモリウォール」を巡り、産業チェーンはすでに複数の新たな路線を打ち出している。

サムスンのzHBM計画は、HBMをプロセッサの上に積み重ね、データ転送距離をさらに短縮しようとするものだ。ただし、この設計はGPUが発生する熱を処理する必要があり、同時にウェハーレベルのハイブリッドボンディングの歩留まりとコストに対してより高い要求を課す。

エヌビディアが推進するNVHBMは、ベースダイをエヌビディアが設計し、TSMCが製造する可能性がある。この方案は消費電力の低減と帯域幅の向上が期待できるが、HBMベースダイにおけるメモリメーカーの設計・製造価値を弱める可能性もある。製品の標準化に伴い、付加価値の一部がメモリメーカーからエヌビディアやファウンドリへ移転する可能性がある。

サンディスクとSKハイニックスが推進するHBFは、NANDを活用してHBMに近い帯域幅を実現しつつ、より大容量と低い単位コストを得ようとするものだ。ただし、NANDとDRAMの間にはレイテンシと性能の面で依然として顕著なギャップがあり、HBFは複数の技術階層を越える必要があるため、実現の難易度は低くない。

インテルのZAMは、DRAMダイを90度回転させて放熱を改善しようとする試みで、2029会計年度までの実用化を目指している。一方、クアルコムのHBCはLPDDRと従来型パッケージを使用し、一部の性能を犠牲にしてCoWoSコストを回避する。

さらに、PIMはストレージチップに直接計算能力を組み込み、プロセッサとメモリ間のデータ移動を削減しようとしている。しかし、これは既存の計算アーキテクチャを変えるものであり、プロセッサ、ソフトウェア、ネットワークが共同で適応する必要があり、またすでに高度に成熟したロジックチップとストレージチップの分業体制にも影響を与える。バーンスタインは、その業界での採用は依然として限定的だと見ている。

このように見ると、新方案の数が急速に増えても、すべての路線が規模のある市場を形成できるわけではない。既存のソフトウェア・ハードウェアエコシステムとの互換性、コスト優位性の有無、そしてサプライチェーン各社が利益のバランスを取れるかどうかが、最終的な商業化の結果を左右するだろう。

AIストレージの受益者は、HBMメーカーだけではない

投資の観点から見ると、バーンスタインの判断は比較的明確だ。AIによるストレージ産業への牽引効果は、少数のハイエンド製品からより多くの階層へと拡散しつつある。

HBMは依然としてトレーニングと高性能推論の中核であり、サムスン電子、SKハイニックス、マイクロンは引き続き高帯域幅メモリ需要の恩恵を受けるだろう。しかし、推論の規模が拡大すると、システムDRAMとNANDの重要性が高まる。KVキャッシュのオーバーフロー、RAGデータベース、そしてエージェントが生成する大量の中間データも、SSDと共有ストレージの需要を増加させるだろう。

さらに冷たいデータは沈み続けるだろう。バーンスタインによると、AIによるデータ増加はすでにHDDに恩恵をもたらし始めており、一部のシナリオでは、NANDとHDDの容量不足により、従来主にアーカイブ用途だったテープ需要も増加している。

レポートは引き続き、サムスン電子、SKハイニックス、マイクロン、サンディスク、シーゲイト、ウエスタンデジタルに「アウトパフォーム」評価を与えている。そのうち、サムスン電子、SKハイニックス、マイクロンはDRAMおよびHBMに対応し、サンディスクはNANDとHBFの恩恵を受け、シーゲイトとウエスタンデジタルはより低コストの大容量ストレージに対応する。キオクシアは「アンダーパフォーム」と評価された。

ただし、このレポートの核心的価値は、一連の新しい技術略語を列挙することではなく、AIストレージ市場の境界を再定義することにある。

トレーニング時代のボトルネックは主にGPUとHBMに集中していたが、推論とエージェント時代では、ボトルネックはメモリ全体の階層に広がり始めている。将来のAIインフラ競争は、チップがどれだけ速く計算できるかだけでなく、データが十分に低いコストでHBM、DRAM、NAND、共有ストレージ間を効率的に流動できるかにも依存する。

BlockBeats の公式コミュニティに参加しよう：

Telegram 公式チャンネル：https://t.me/theblockbeats

Telegram 交流グループ：https://t.me/BlockBeats_App

Twitter 公式アカウント：https://twitter.com/BlockBeatsAsia