lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

MiniMax M3が正式にオープンソース化され、ネイティブマルチモーダルで100万コンテキストをサポート

動察 Beatingのモニタリングによると、国産大規模モデルメーカーMiniMaxは、Hugging Face上でネイティブなマルチモーダル混合エキスパート(MoE)モデル「MiniMax M3」の重みを正式にオープンソース化した。MiniMax M3の総パラメータ数は4280億、単一トークンあたりの活性化パラメータは230億であり、ネイティブで100万の超長コンテキストをサポートする。デプロイ時のメモリ消費を削減するため、開発チームは同時にMXFP8量子化バージョンをリリースし、SGLang、vLLM、Transformersなどの主要な推論フレームワークに対応している。

マルチモーダル設計において、MiniMax M3は事前学習段階からテキスト、画像、動画の共同学習を実施し、ネイティブな意味融合を実現しており、後学習段階でのマルチモーダルアライメントは行わない。動作メカニズムとしては、複雑な論理処理やツールオーケストレーション向けの「Thinking(思考)モード」と、低遅延対話やコード生成向けの「Non-thinking(非思考)モード」という2つの推論モードを提供する。

100万の超長コンテキストを支える基盤カーネルは、同時にオープンソース化された軽量アテンションカーネルライブラリ「MiniMax Sparse Attention(MSA)」である。公式発表のデータによると、MSAはグループクエリアテンション(GQA)のチャンク検索メカニズムを採用しており、100万トークンの極長コンテキスト実測において、NVIDIA Blackwell(SM100)アーキテクチャ向けに最適化されたMSA演算子は、従来のフルアテンション機構と比較して、プリフィル加速で9倍以上、デコード速度で15倍の向上を実現し、推論コストを大幅に削減する。

举报 訂正/通報
関連おすすめ
ゴールドマン・サックスは、MiniMaxが新製品とコスト優位性によってバリュエーションを回復できると見ている。
お金が少ない、カードが少ない、人数が少ないという状況が、逆に最高のエンジニアリング能力とアーキテクチャ革新を引き出しました。
ブランドに頼らず、宣伝に頼らず、8日間で開発者によるフットソール投票を行います。
英伟达は、中国における大規模モデルトレーニングのムーアの法則が、「必須」から「オプション」へと変化しました。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了