独立開発者のYetoneによるAlmaがAgentのトップ3に躍り出て、合格率とコストの両方でClaude Codeを上回った

動察 Beating AI 速報、独立開発者 Yetone が主導して開発した Alma は、最新の AI Agent 横断評価で、タスク通過率と成功コストの両方で3位を獲得し、Claude Code、OpenCode などの有名ツールを追い抜いた。

今回の評価は AI Agent インフラ企業 Runta が実施した。現在のランキングのスナップショットでは、Alma のタスク通過率は 72.7% で、Codex CLI の 77.9% と Pi の 72.8% に次ぐ。Claude Code は 70.0% だった。

Alma は通過率が高いだけでなく、タスク完了にかかるコストも安い。1問を成功裏に完了するのに平均約 0.80 ドルかかり、Claude Code は 0.94 ドルで、コストは約 16% 低い。

今回の FrontierHarness v1.1 は一つの問題を専門に研究している。同じ大規模モデルでも、Agent の実行フレームワークを変えると、パフォーマンスはどれだけ差が出るのか？

評価は 21 組の Harness 設定、5 つの大規模モデル、62 項目のタスクをカバーし、各項目を 4 回繰り返し、合計 26,040 回の実行を予定しており、規模は前バージョンの 72 倍に達する。すべてのツールは統一されたクラウド環境で実行され、タスク成功率、Token コスト、実行速度を比較する。

Alma はローカル実行と長期記憶を主打とする AI Agent で、コードを直接読み取り・修正し、ターミナルコマンドを実行し、ウェブを検索でき、Skills と MCP にも対応している。基盤モデルを自由に切り替えられ、特定のモデルベンダーに依存しない。

最近、Alma は Herdr も統合した。Claude Code、Codex、Pi などのプログラミング Agent は引き続き Herdr で実行でき、Alma はそれらを一つのチャットインターフェースに集約し、実行プロセスの確認、質問への回答、操作の承認を行う。ユーザーは iPhone を通じてコンピュータ上の複数の Agent をリモート管理することもできる。

現在、評価はまだ終了しておらず、ランキングは変動する可能性がある。参加モデルも GLM、DeepSeek、Kimi、Muse などのオープンソースモデルに限られ、GPT や Claude シリーズのクローズドソースモデルはカバーしていない。