lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

MiniMaxがBlackwell専用のアテンションライブラリをオープンソース化、M3の重みは今週金曜日に公開予定

動察 Beatingのモニタリングによると、MiniMaxのデベロッパーリレーションズ責任者であるRyan Lee氏は、NVIDIA Blackwell(SM100)GPU向けの高性能アテンションライブラリ「MiniMax Sparse Attention(MSA)」が正式にオープンソース化され、MITライセンスが採用されたことを発表しました。また、Ryan Lee氏はMiniMax-M3の重みが今週金曜日に公開される予定であると述べています。

MSAはすでにMiniMax-M3の100万トークンレベルのコンテキスト推論に適用されており、各GQAグループ内で最も関連性の高いKVブロックをフィルタリングし、選択されたブロックに対してのみアテンション計算を実行します。論文によると、100万トークンのコンテキスト下では、同じ構成のDense GQAと比較して、MSAはアテンション計算量を28.4倍削減し、H800 GPU上で14.2倍のプリフィル高速化と7.6倍のデコード高速化を実現します。

オープンソース版は、同じPythonパッケージ内にC++ JITとCuTe-DSLの2つの実装を統合し、Dense FlashAttentionとSparse Top-k Attention Kernelの両方を提供します。BF16、FP8、NVFP4、FP4など、複数の精度フォーマットをサポートしています。現在は主にNVIDIA Blackwell(SM100)GPUへのデプロイを対象としています。

举报 訂正/通報
関連おすすめ
お金が少ない、カードが少ない、人数が少ないという状況が、逆に最高のエンジニアリング能力とアーキテクチャ革新を引き出しました。
ゴールドマン・サックスは、MiniMaxが新製品とコスト優位性によってバリュエーションを回復できると見ている。
ブランドに頼らず、宣伝に頼らず、8日間で開発者によるフットソール投票を行います。
英伟达は、中国における大規模モデルトレーニングのムーアの法則が、「必須」から「オプション」へと変化しました。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了