動察Beatingのモニタリングによると、独立系開発者@bleysgがMiniMax M3コーディングモデルのDeepSWE長距離ソフトウェアエンジニアリングベンチマークにおける独立した実測レポートを公開しました。113の実際のオープンソース機能開発タスクを含むテストでは、モデルは90分の通常制限時間内で厳格基準の合格率13.3%(15/113)しか達成できず、公式が以前SWE-bench Proベンチマークで発表した59.0%の評価結果とは大きくかけ離れています。公開されたDeepSWEランキングでは、M3のパフォーマンスは国内主流のKimi-k2.6(24%)やGLM-5.1(18%)に劣るものの、GoogleのGemini 3.1 Pro(10%)やDeepSeek V4 Pro(8%)を上回っています。
具体的には、モデルのJavaScriptタスクの合格率は40.0%(2/5)、TypeScriptは17.1%(6/35)、Goは11.8%(4/34)、Pythonは8.8%(3/34)であり、5つのRustタスクはすべて失敗しました。評価データによると、完全に解決されていないタスクのうち、35タスクで隠しテストの合格率が90%を超えており、「ほぼ合格」に分類されています。また、全113タスクのうち、既存コードを破壊したために失敗したのはわずか8回であり、モデルが保守的なパッチを生成しやすく、回帰欠陥を引き起こしにくいことを示しています。
しかし、良好なコード回帰防止性能と比較して、M3の非常に高い実行コストが顕著な欠点となっています。DeepSWEベンチマークでは、モデルが単一タスクを解決するための実行ステップの中央値は325ステップ、出力トークンの中央値は8万トークン、単一タスクの平均コスト中央値は7.48ドルに達します。高いリソースコストは、主流の最先端モデルと比較して、M3が計算効率においてまだ大きな改善の余地があることを示しています。テストレポートによると、実行時間制限を緩和した場合、モデルの拡張時間合格率は16.8%(19/113)に向上し、90分を超える複数ファイルの複雑なタスクをさらに4つ解決できることが示されています。