lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

MiniMax M3独立評価:DeepSWE通過率13.3%でKimiとGLMに遅れを取る

動察Beatingのモニタリングによると、独立系開発者@bleysgがMiniMax M3コーディングモデルのDeepSWE長距離ソフトウェアエンジニアリングベンチマークにおける独立した実測レポートを公開しました。113の実際のオープンソース機能開発タスクを含むテストでは、モデルは90分の通常制限時間内で厳格基準の合格率13.3%(15/113)しか達成できず、公式が以前SWE-bench Proベンチマークで発表した59.0%の評価結果とは大きくかけ離れています。公開されたDeepSWEランキングでは、M3のパフォーマンスは国内主流のKimi-k2.6(24%)やGLM-5.1(18%)に劣るものの、GoogleのGemini 3.1 Pro(10%)やDeepSeek V4 Pro(8%)を上回っています。

具体的には、モデルのJavaScriptタスクの合格率は40.0%(2/5)、TypeScriptは17.1%(6/35)、Goは11.8%(4/34)、Pythonは8.8%(3/34)であり、5つのRustタスクはすべて失敗しました。評価データによると、完全に解決されていないタスクのうち、35タスクで隠しテストの合格率が90%を超えており、「ほぼ合格」に分類されています。また、全113タスクのうち、既存コードを破壊したために失敗したのはわずか8回であり、モデルが保守的なパッチを生成しやすく、回帰欠陥を引き起こしにくいことを示しています。

しかし、良好なコード回帰防止性能と比較して、M3の非常に高い実行コストが顕著な欠点となっています。DeepSWEベンチマークでは、モデルが単一タスクを解決するための実行ステップの中央値は325ステップ、出力トークンの中央値は8万トークン、単一タスクの平均コスト中央値は7.48ドルに達します。高いリソースコストは、主流の最先端モデルと比較して、M3が計算効率においてまだ大きな改善の余地があることを示しています。テストレポートによると、実行時間制限を緩和した場合、モデルの拡張時間合格率は16.8%(19/113)に向上し、90分を超える複数ファイルの複雑なタスクをさらに4つ解決できることが示されています。

举报 訂正/通報
関連おすすめ
お金が少ない、カードが少ない、人数が少ないという状況が、逆に最高のエンジニアリング能力とアーキテクチャ革新を引き出しました。
ブランドに頼らず、宣伝に頼らず、8日間で開発者によるフットソール投票を行います。
ゴールドマン・サックスは、MiniMaxが新製品とコスト優位性によってバリュエーションを回復できると見ている。
英伟达は、中国における大規模モデルトレーニングのムーアの法則が、「必須」から「オプション」へと変化しました。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了