lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

Databricksが実際のコードベースでAgentをテスト、GLM 5.2が第一梯隊にランクイン

動察 Beatingのモニタリングによると、Databricksは自社の内部AIプログラミングエージェント評価を発表し、自社の数百万行のコードベースにある実際のPR(プルリクエスト)を用いてテストを実施した。

この評価ではSWE-Benchを直接使用していない。Databricksは、公開問題集がトレーニングデータに含まれている可能性があり、実際のエンジニアリングに十分に即していないと考えている。

テストタスクは最近マージされたPRから抽出され、Python、Go、TypeScript、Scalaなどの言語をカバーしている。チームはボットによる提出、AI生成コード、自動生成コードをフィルタリングし、結果を検証可能なタスクのみを残した。

結果によると、プログラミングエージェントはおおむね3つのレベルに分類される。最上位層にはOpenAIやAnthropicのモデルだけでなく、オープンソースモデルも含まれている。GLM 5.2は第一層にランクインし、品質面ではOpus 4.8に近く、タスクあたりのコストは1.28ドルで、Opus 4.8の1.94ドルを下回った。

評価ではまた、トークン単価が実際のコストを直接反映しないことも判明した。Sonnet 5はトークンあたりのコストが低いが、このタスクセットでは実行時間が長く、読み取り量も多いため、タスクあたりのコストはむしろ高くなった。

ツールのフレームワークも重要である。同じモデルでも異なるエージェントフレームワークを使用すると、タスクコストに最大2倍以上の差が生じるが、完了品質には大きな変化は見られなかった。

訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了