動察Beatingのモニタリングによると、評価機関Artificial Analysisは、大規模モデルエージェント向けに設計された初の長周期知識作業評価ベンチマーク「AA-Briefcase」を発表した。このベンチマークは、データサイエンス、プロダクトマネジメント、銀行業務運営、重工業戦略の4つのシナリオで構成され、Google、マッキンゼー、ボストンコンサルティンググループの業界専門家によって開発され、合計91のタスクが設定されており、現実の複雑なビジネスプロジェクトフローを模倣することを目的としている。
このベンチマークは、客観問題、分析品質、レイアウト表示の3つの次元を通じて、2人対戦およびベンチマーク評価を実施。結果によると、Anthropic傘下のClaude Fable 5が最高総合スコア「AA-Briefcase Elo」を獲得し、Claude Opus 4.8 (max)とGLM-5.2 (max)がそれぞれ2位と3位にランクインした。Claude Fable 5でさえ、厳格な単一タスク全問正解基準の下では、完璧率はわずか3%であり、91のタスクのうち31のタスクでは、どのモデルも50%以上のスコアを達成できなかった。
オープンソースモデルに関しては、智譜のGLM-5.2 (max)が顕著なパフォーマンスを示し、総合スコアはClaude Opus 4.8 (max)よりわずか90ポイント低いものの、実行コストはClaude Opus 4.8 (max)の25%未満である。実行コストはモデル間で大きく異なり、DeepSeek V4 Flashの1タスクあたりのコストはわずか0.04ドルであるのに対し、最も高価なClaude Fable 5は31ドルを超える。分析によると、視覚検査能力は成果物のレイアウト品質向上に不可欠であり、レイアウトスコアでリードするClaude Fable 5とClaude Opus 4.8 (max)は、タスクごとに平均してそれぞれ21回と12回の画像表示ツールを呼び出している。