lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

エージェント資格試験:Fable 5の最も難しいタスクは未だ白紙回答、1問あたりのコストが4倍から12倍に上昇

動察 Beatingのモニタリングによると、カリフォルニア大学バークレー校のRDIが主導し、数百人の業界専門家と協力して、新たなAIエージェント評価ベンチマーク「Agents' Last Exam(ALE)」を発表しました。これは、エージェントが現実のデジタル専門業務を遂行する能力を評価するためのものです。ALEは55のデジタル専門サブ分野をカバーし、人間の専門家による実際のプロジェクトから収集された1500以上の検証タスクを備え、GUIおよびCLIインタラクション環境での結果検証をサポートしています。

最初のテストでは、Fable 5、GPT-5.5、Composer 2.5などの最先端システムが対象となりました。最新の公式サイト比較によると、継続的な推論と深い専門知識を必要とする最も困難なタスクでは、テストされたすべてのエージェントの成功率が0%であり、今週リリースされたばかりのFable 5も同様に白紙の結果となりました。これは主に、評価がセキュリティポリシーをトリガーしたためで、Fable 5の約35%のタスクが旧バージョンのOpus 4.8に切り替えられて実行され、全体的なパフォーマンスが他のランキングに比べて大幅に劣る結果となりました。単一タスクのAPIコストに関しては、Fable 5が約15.70ドルと、GPT-5.5の3.80ドルやComposer 2.5の1.33ドルを大幅に上回り、同じタスクでのコストが4倍から12倍高くなっています。テストでは、エージェントの最も一般的な失敗原因は、実際に結果を検証せず、ファイルを欠落させたりデータを誤って計算したりしたまま、早々に成功を宣言してしまうことであることも判明しました。

コマンドラインエージェント向けに、評価チームは同時にサブセット「ALE-CLI」をリリースしました。既存のTerminal-BenchやSWE-bench-Proと比較して、ALE-CLIは40のサブ分野をカバーし、個々のタスクの人間による平均所要時間は数時間から数週間に及びます。コマンドライン評価では、最もパフォーマンスの高いエージェントでも通過率はわずか25.2%でした。評価チームは、使い勝手の良いエージェントの時代は到来したものの、実際に人間に取って代わって業務を遂行できるようになるまでには、まだ長い道のりがあると指摘しています。

举报 訂正/通報
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了