動察 Beatingのモニタリングによると、MiniMaxのデベロッパーリレーションズ責任者であるRyan Lee氏は、NVIDIA Blackwell(SM100)GPU向けの高性能アテンションライブラリ「MiniMax Sparse Attention(MSA)」が正式にオープンソース化され、MITライセンスが採用されたことを発表しました。また、Ryan Lee氏はMiniMax-M3の重みが今週金曜日に公開される予定であると述べています。
MSAはすでにMiniMax-M3の100万トークンレベルのコンテキスト推論に適用されており、各GQAグループ内で最も関連性の高いKVブロックをフィルタリングし、選択されたブロックに対してのみアテンション計算を実行します。論文によると、100万トークンのコンテキスト下では、同じ構成のDense GQAと比較して、MSAはアテンション計算量を28.4倍削減し、H800 GPU上で14.2倍のプリフィル高速化と7.6倍のデコード高速化を実現します。
オープンソース版は、同じPythonパッケージ内にC++ JITとCuTe-DSLの2つの実装を統合し、Dense FlashAttentionとSparse Top-k Attention Kernelの両方を提供します。BF16、FP8、NVFP4、FP4など、複数の精度フォーマットをサポートしています。現在は主にNVIDIA Blackwell(SM100)GPUへのデプロイを対象としています。