lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

CognitionがFrontierCodeを発表:コードマージの品質を測定する初のAI評価セット

動察Beatingのモニタリングによると、Cognitionは新たなエージェントコード評価ベンチマーク「FrontierCode」を発表した。これはAIが生成したコードの「マージ可能性」(Mergeability)を重点的に評価するものであり、単なる実行の正しさだけを評価するものではない。このベンチマークは、Celery、Budibase、uppy、Mattermostなど36のオープンソースプロジェクトのメンテナーと共同で開発され、各タスクは開発者が40時間以上かけて磨き上げたもので、コードテストの品質、設計規範、修正範囲、スタイル規範を検証するために使用される。

FrontierCodeは、Extended(150タスク)、Main(100タスク)、Diamond(最も難しい50タスク)の3つのレベルに分かれている。非常に難易度の高いDiamondタスクセットでは、現在の大規模言語モデルのパフォーマンスにはまだ大きな改善の余地がある。最も優れたパフォーマンスを示したClaude Opus 4.8でさえ13.4%のスコアしか獲得できず、GPT-5.5は6.3%、Gemini 3.1 Proは4.7%であった。また、オープンソースモデルの中で最も優れたパフォーマンスを示したKimi K2.6のスコアはわずか3.8%であった。

大規模言語モデルが不正や投機的な手段でテストを通過するのを防ぐため、このベンチマークには複数の評価メカニズムが導入されている。例えば、エージェントが作成したテストが元の欠陥コードで必ず失敗するように要求する逆方向テストや、修正するファイル数と行数を制限する範囲制約などである。開発チームはまた、大規模言語モデルベースのmutagentツールを設計し、テスト環境を動的に調整して合理的な実装の差異を許容することで、評価の誤判定率をSWE-Bench Proの5分の1にまで低減した。

举报 訂正/通報
関連おすすめ
新世代の起業家たちがすでに前進しています。 彼らの前に立ちはだかっているのは、オリンピックよりも遥かに難しい「AIが世界をどのように再構築するか」という問題です。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了