動察Beatingのモニタリングによると、Cognitionは新たなエージェントコード評価ベンチマーク「FrontierCode」を発表した。これはAIが生成したコードの「マージ可能性」(Mergeability)を重点的に評価するものであり、単なる実行の正しさだけを評価するものではない。このベンチマークは、Celery、Budibase、uppy、Mattermostなど36のオープンソースプロジェクトのメンテナーと共同で開発され、各タスクは開発者が40時間以上かけて磨き上げたもので、コードテストの品質、設計規範、修正範囲、スタイル規範を検証するために使用される。
FrontierCodeは、Extended(150タスク)、Main(100タスク)、Diamond(最も難しい50タスク)の3つのレベルに分かれている。非常に難易度の高いDiamondタスクセットでは、現在の大規模言語モデルのパフォーマンスにはまだ大きな改善の余地がある。最も優れたパフォーマンスを示したClaude Opus 4.8でさえ13.4%のスコアしか獲得できず、GPT-5.5は6.3%、Gemini 3.1 Proは4.7%であった。また、オープンソースモデルの中で最も優れたパフォーマンスを示したKimi K2.6のスコアはわずか3.8%であった。
大規模言語モデルが不正や投機的な手段でテストを通過するのを防ぐため、このベンチマークには複数の評価メカニズムが導入されている。例えば、エージェントが作成したテストが元の欠陥コードで必ず失敗するように要求する逆方向テストや、修正するファイル数と行数を制限する範囲制約などである。開発チームはまた、大規模言語モデルベースのmutagentツールを設計し、テスト環境を動的に調整して合理的な実装の差異を許容することで、評価の誤判定率をSWE-Bench Proの5分の1にまで低減した。