DeepSeek V4 Proで5つのハーネスを実行：Pi成功率がトップ、DSHが最もコスト効率が高い

動察 Beating AI 速報、Agent ツール企業 Composio は、同じ DeepSeek V4 Pro 0813 を Pi Agent、DeepSeek Harness 0.1、Claude Code、OpenCode、Hermes Agent にそれぞれ組み込み、すべて max reasoning に設定し、30 のマルチステップ Agent タスクを実行しました。

成功率：

1. Pi Agent：21/30
2. DeepSeek Harness：20/30
3. Claude Code：19/30
4. OpenCode：19/30
5. Hermes Agent：18/30

30 問のうち、15 問は 5 社すべてが成功し、7 問は 5 社すべてが失敗しました。残りの 8 問は Harness を変更するだけで結果が逆転しました。

速度ランキング：

1. Claude Code：181.8 秒
2. DeepSeek Harness：252.1 秒
3. Hermes Agent：273.6 秒
4. OpenCode：280.6 秒
5. Pi Agent：362.9 秒

1 回の成功あたりのコスト：

1. DeepSeek Harness：0.028 ドル
2. Pi Agent：0.031 ドル
3. OpenCode：0.032 ドル
4. Hermes Agent：0.037 ドル
5. Claude Code：0.074 ドル

Pi は成功率が最も高く、DeepSeek 公式 Harness は最もコスト効率が良く、Claude Code は最速だが最も高価です。

Composio は以前、DeepSeek V4 Flash で同様のテストを実施しており、その際も Pi が最高の成功率を記録しました。