動察 Beatingのモニタリングによると、Databricksは自社の内部AIプログラミングエージェント評価を発表し、自社の数百万行のコードベースにある実際のPR(プルリクエスト)を用いてテストを実施した。
この評価ではSWE-Benchを直接使用していない。Databricksは、公開問題集がトレーニングデータに含まれている可能性があり、実際のエンジニアリングに十分に即していないと考えている。
テストタスクは最近マージされたPRから抽出され、Python、Go、TypeScript、Scalaなどの言語をカバーしている。チームはボットによる提出、AI生成コード、自動生成コードをフィルタリングし、結果を検証可能なタスクのみを残した。
結果によると、プログラミングエージェントはおおむね3つのレベルに分類される。最上位層にはOpenAIやAnthropicのモデルだけでなく、オープンソースモデルも含まれている。GLM 5.2は第一層にランクインし、品質面ではOpus 4.8に近く、タスクあたりのコストは1.28ドルで、Opus 4.8の1.94ドルを下回った。
評価ではまた、トークン単価が実際のコストを直接反映しないことも判明した。Sonnet 5はトークンあたりのコストが低いが、このタスクセットでは実行時間が長く、読み取り量も多いため、タスクあたりのコストはむしろ高くなった。
ツールのフレームワークも重要である。同じモデルでも異なるエージェントフレームワークを使用すると、タスクコストに最大2倍以上の差が生じるが、完了品質には大きな変化は見られなかった。