NVIDIAがNVHBMメモリ技術を発表、帯域幅が30%向上し消費電力が15%削減

BlockBeats ニュース、8月27日、エヌビディアは次世代AIインフラ向けのNVHBM技術を発表した。NVHBMは、主要なメモリチップベンダーと共同設計・検証されたカスタムHBMベースダイであり、NVLink Fusionを通じて、カスタムAIアクセラレータ（XPU）を開発するハイパースケールクラウドサービスプロバイダーやAIネイティブ企業に提供される。

標準のHBM4eと比較して、NVHBMは各スタックで最大30%の追加メモリ帯域幅を提供し、HBM消費電力を最大15%削減し、XPUの計算ダイ面積を最大25%解放する。エヌビディアによると、これらの改善により、カスタムアクセラレータはより大規模なAIモデルをサポートし、KVキャッシュの読み取りを高速化し、トレーニングおよび大規模推論の効率を向上させることができる。

NVHBMは物理メモリインターフェースを再設計し、メモリコントローラを3D HBMスタック内に移し、カスタムPHYを統合することで、PHYおよび関連領域の面積を最大67%削減し、同時にインター�ーザ配線を簡素化する。解放されたチップ面積は、マトリックスエンジン、キャッシュ、ネットワーク、その他特定のワークロード向け機能の追加に使用できる。

ラックレベルでは、NVLink FusionチップレットがカスタムXPUをNVLinkネットワークに接続し、NVLink-C2Cを介してCPUに接続する。エヌビディアは、NVHBMとNVLink Fusionを組み合わせることで、各XPUのエンドツーエンド性能が約30%向上し、カスタムXPUとエヌビディアGPUによるヘテロジニアスコンピューティングシステムの構築が可能になると述べている。公式には記事内で具体的な商用化時期は開示されていない。