lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

AIにコードベース全体を移行させた結果、94.6%が不合格:20タスク中13タスクは誰も達成できず

動察 Beating AI 速報、AI Agent 企業 Einsia が SWE Refactor Bench を発表。Coding Agent がコードベース全体を自力で移行できるかを専門にテストする。20 のタスクは SQLite、zlib、libsodium、GraphHopper などの実プロジェクトから来ており、C から Rust への変更、Maven から Gradle への変更、SQLite の WASI への移植などが含まれる。各タスクには Agent に 6~30 時間が与えられる。


評価の第一関門では、旧技術スタックが本当に置き換えられたかをチェックし、Agent が旧コードを残してごまかすのを防ぐ。第二関門では 13 万件以上の固定チェックを実行。最後に 6 つの独立した Coding Agent を派遣し、各 1 時間かけて隠れたバグを専門に探す。


8 つの最先端モデル、26 の設定で合計 520 回実行された。340 回は実際に移行を完了し、88 回は事前に準備されたテストをすべてグリーンにしたが、そのうち 60 回は最終ラウンドで隠れたバグが見つかった。最終的に完全に合格したのはわずか 28 回で、合格率は 5.4%。20 のタスクのうち 13 は誰も達成できなかった。Claude Opus 5 の xhigh 設定が最も優れており、20 のタスクのうち 5 つを完全に通過した。


現在の Coding Agent は大規模なコード変更が可能だが、「システム全体を変更しても完全にエラーが出ない」というレベルにはまだ遠く及ばない。

举报 訂正/通報
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了