動察 Beating AI 速報、AI Agent 企業 Einsia が SWE Refactor Bench を発表。Coding Agent がコードベース全体を自力で移行できるかを専門にテストする。20 のタスクは SQLite、zlib、libsodium、GraphHopper などの実プロジェクトから来ており、C から Rust への変更、Maven から Gradle への変更、SQLite の WASI への移植などが含まれる。各タスクには Agent に 6~30 時間が与えられる。
評価の第一関門では、旧技術スタックが本当に置き換えられたかをチェックし、Agent が旧コードを残してごまかすのを防ぐ。第二関門では 13 万件以上の固定チェックを実行。最後に 6 つの独立した Coding Agent を派遣し、各 1 時間かけて隠れたバグを専門に探す。
8 つの最先端モデル、26 の設定で合計 520 回実行された。340 回は実際に移行を完了し、88 回は事前に準備されたテストをすべてグリーンにしたが、そのうち 60 回は最終ラウンドで隠れたバグが見つかった。最終的に完全に合格したのはわずか 28 回で、合格率は 5.4%。20 のタスクのうち 13 は誰も達成できなかった。Claude Opus 5 の xhigh 設定が最も優れており、20 のタスクのうち 5 つを完全に通過した。
現在の Coding Agent は大規模なコード変更が可能だが、「システム全体を変更しても完全にエラーが出ない」というレベルにはまだ遠く及ばない。