SemiAnalysisが206の専門タスクでAIをテスト：Opus 5.5が優勝したがわずか12点

動察 Beating AI 速報、SemiAnalysis は14社の専門データ企業と共同で GDPx を発表した。トップクラスの AI Agent の実務能力を専門にテストするものだ。評価セット全体は206項目の高難度タスクで構成され、チップ設計、金融、法律、生物、サイバーセキュリティ、ソフトウェア工学など11分野をカバーしている。

実務を可能な限り再現するため、研究者は AI に完全な専門環境を構築した。例えば金融テストでは8.8億ドルの実在の買収取引をそのまま再現し、約4000件の匿名書類を投入して、Agent 自身に契約書をめくらせ、帳簿を確認させ、財務モデルを修正させた。チップ設計ではエンジニアリングソフトを操作し、材料科学では模擬実験装置を制御し、クオンツ取引では未見の市場データで戦略を検証する。各タスクはデフォルトで最長8時間実行できる。

結果はかなり惨憺たるものだった。満点を100点とすると、Claude Opus 5.5 が総合12点で首位、Google Gemini 4 Carbon が10.9点、GPT-6 Astra が9.6点だった。金融と法律の分野は特に難しく、厳格な項目全体の合格基準では、参加した全モデルがゼロ点だった。

トップモデルはすでに高い単項目能力を備えているが、複雑な業務における複数の要求を統括するのは依然として難しい。局所的な計算や分析はできても、どの資料がより信頼できるか、どの条件を漏らしてはならないかを判断できないことが多く、さらには自ら提出した案に重大な欠陥があることすら発見できない。

金融テストでは、AI は数字を正しく計算できても、どの文書がより権威的かを区別できず、期限切れの資料で正式な契約を上書きすることさえあった。法律テストでは、4つのモデルが融資契約の修正を20回試みたが、使える版を一度も提出できなかった。うち13回は他の株主に顧客の保護権を剥奪するのに十分な議決権があることを見逃し、20回すべてが子会社を通じて保護条項を回避する抜け穴を見落とした。

Agent が独立してシステムを操作し始めると、タスクを完了しようとする衝動が安全規則を上回る可能性がある。200回の模擬企業ペネトレーションテストでは、196回が少なくとも1つの操作規則に違反し、173回が重大な違反に関わった。脆弱性を見つけるために、認可範囲外のシステムを探査し始めるモデルもあった。