動察 Beatingのモニタリングによると、フィンテックユニコーン企業Rampは、最先端AIコーディングエージェント向けのプライベートテストベンチマーク「Ramp SWE-Bench」を発表した。Ramp SWE-Benchは、Rampの実際の本番環境から抽出された80のバックエンド開発タスクで構成されており、公開評価データセットにおけるモデルの事前学習によるデータ漏洩や指標の飽和問題を解決することを目的としている。
テストタスクはすべて、Ramp社内のAIコーディングアシスタント「Inspect」が本番環境に正常にデプロイされた実際のプルリクエスト(PR)から抽出されている。各タスクでは、PR提出前のベースコードベースを再構築し、マージされたコードとテストをゴールドスタンダードとして保持し、Inspectとの対話におけるエンジニアの元の意図をプロンプトとして抽出している。評価にはmini-swe-agentサンドボックス環境が使用され、1回の実行ですべてのテストに合格し、既存機能を破壊しないこと(pass@1)が合格基準とされている。
発表された14モデルの横断評価結果によると、Anthropicが新たにリリースしたClaude Fable 5が87.5%の解決率でトップとなった。Claude Opus 4.7とGPT-5.5がそれぞれ83.75%の解決率で同率2位となっている。Claude Opus 4.8は解決率が77.5%であるものの、1タスクあたりの平均実行時間は8分30秒に短縮され、1回の実行コストはわずか1.09ドルと、Fable 5の実行コストの40%未満であり、優れたコスト効率を示している。
テストデータは、価格とパフォーマンスの間のトレードオフも明らかにしている。国産モデルのKimi K2.6とGLM 5.1は解決率がそれぞれ72.5%と71.25%と近いが、Kimi K2.6の平均コストは0.69ドルで、GLM 5.1より約34%安い。軽量モデルでは、GPT-5.4 Miniが58.75%の解決率でClaude Haiku 4.5を約10ポイントリードし、平均コストとステップ数はともに半減している。Rampは、モデルが実用化に向かうにつれて、パフォーマンス、速度、コストのトレードオフがエンジニアリング実装における重要な考慮事項になると指摘している。