動察 Beatingのモニタリングによると、カリフォルニア大学バークレー校のRDIが主導し、数百人の業界専門家と協力して、新たなAIエージェント評価ベンチマーク「Agents' Last Exam(ALE)」を発表しました。これは、エージェントが現実のデジタル専門業務を遂行する能力を評価するためのものです。ALEは55のデジタル専門サブ分野をカバーし、人間の専門家による実際のプロジェクトから収集された1500以上の検証タスクを備え、GUIおよびCLIインタラクション環境での結果検証をサポートしています。
最初のテストでは、Fable 5、GPT-5.5、Composer 2.5などの最先端システムが対象となりました。最新の公式サイト比較によると、継続的な推論と深い専門知識を必要とする最も困難なタスクでは、テストされたすべてのエージェントの成功率が0%であり、今週リリースされたばかりのFable 5も同様に白紙の結果となりました。これは主に、評価がセキュリティポリシーをトリガーしたためで、Fable 5の約35%のタスクが旧バージョンのOpus 4.8に切り替えられて実行され、全体的なパフォーマンスが他のランキングに比べて大幅に劣る結果となりました。単一タスクのAPIコストに関しては、Fable 5が約15.70ドルと、GPT-5.5の3.80ドルやComposer 2.5の1.33ドルを大幅に上回り、同じタスクでのコストが4倍から12倍高くなっています。テストでは、エージェントの最も一般的な失敗原因は、実際に結果を検証せず、ファイルを欠落させたりデータを誤って計算したりしたまま、早々に成功を宣言してしまうことであることも判明しました。
コマンドラインエージェント向けに、評価チームは同時にサブセット「ALE-CLI」をリリースしました。既存のTerminal-BenchやSWE-bench-Proと比較して、ALE-CLIは40のサブ分野をカバーし、個々のタスクの人間による平均所要時間は数時間から数週間に及びます。コマンドライン評価では、最もパフォーマンスの高いエージェントでも通過率はわずか25.2%でした。評価チームは、使い勝手の良いエージェントの時代は到来したものの、実際に人間に取って代わって業務を遂行できるようになるまでには、まだ長い道のりがあると指摘しています。