動察 Beatingのモニタリングによると、理想汽車はMach-Mind-4-Flash技術レポートを公開した。モデルは既に発表済みで、今回は主に後続のトレーニング詳細を補足している。
チームはまず、数学、コード、ライティング、安全性、検索、ツール呼び出しなど、10以上の専門家モデルを個別にトレーニング。その後、MOPD(マルチティーチャーオンライン蒸留)を用いて1つの汎用モデルに統合した。各問題カテゴリは対応する専門家が指導し、複数能力の混合トレーニングにおける相互干渉を低減している。
レポートではエージェントのトレーニング方法も明確に説明されている。モデルはツール名や呼び出し形式だけでなく、隔離されたサンドボックス内で実際にファイルを読み込み、コードを修正し、テストを実行し、ツールを呼び出す。操作に失敗すると、エラーメッセージや環境変化を確認し、修正を継続する。ツールトレーニングは190以上のステートフル領域と3500以上のツールインターフェースをカバー。プログラミングタスクの1つのトレーニング軌跡は最大300ラウンドに及ぶ。
この統合は完全にロスがないわけではない。指示追従能力はほぼ維持され、ClawBenchやClawEvalでは単独のエージェント専門家を上回る結果も出ている。しかしSWE-bench Verifiedは専門家モデルの73.80から71.10に低下。チームは長距離プログラミングなどの高度に特化した能力は統合時に依然として損失が生じると認めている。
レポートではモデルの「考えすぎ」を減らす方法も開示されている。HMPOは正解の中央値の長さに基づいて動的に推論予算を設定し、正解かつより短い回答のみに報酬を与える。これにより生成長さを19%から46%短縮し、精度の低下は最大0.7ポイントに抑えられる。現時点ではこの手法は単一ラウンドの推論にのみ適用され、複数ラウンドのエージェントタスクには未対応である。