動察 Beating AI 速報、Scale AI が HarnessOpt-Bench を発表。これは AI が Agent のハーネスを自分で修正し、別の Agent をより強力に調整できるかを専門にテストするものだ。
ハーネスとは、モデルの外側を包む一連のプログラムで、プロンプト、ツール、メモリ、ワークフローを含む。テスト時、AI は意図的に十分に最適化されていないハーネスを受け取り、スコアや失敗事例に基づいてコードを修正し続けるが、内部のモデル自体は変更されない。
修正後、Scale は AI が一度も見たことのないテスト問題を一括で出題し、修正後の Agent が実際に強くなったかを確認する。これにより、AI が既知の問題だけに特化してスコアを稼ぐことを防げる。
Scale は Claude Opus 5、GPT-5.6 Sol、Kimi K3 など 5 つのモデルを使用し、4 種類のタスクで 111 回テストを実施した。Opus 5 が最も優れた結果を示し、4 項目中 3 項目で首位を獲得した。
全体的に見ると、ハーネスを修正するモデルが誰であるかが、Claude Code、Codex、OpenCode のどれを使ってコードを修正するかよりも重要である。
ただし、これはまだ真の「AI 自己改善」ではない。なぜなら、今回はある AI が別の Agent のハーネスを修正するものであり、初期ハーネスも意図的に多くの最適化余地を残しているからだ。