同じモデル、同じタスクで、1つのハーネスのコストは解決あたり2倍かかる。 ガリー・タンは、モデルのラッパーのみを交換するオープンソースの評価を実行している。Opusでは、OpenClawは1回の解決あたり約0.44ドル、試行あたり約99秒かかる。Claudeは0.22ドル、40秒。Solでは、Codexが最も安価で0.17ドルだった。 スコアはまったく差がなかった。7つの設定、20のコーディングタスクで、すべて71〜79%の範囲に収まり、20タスクのうち14タスクはどこでも同じ結果となった。つまり、このテストは簡単すぎた(より難しいTerminal-Benchの再実行が現在進行中)。 現在、どのエージェントが最も賢いかを議論している人々は、たった6つのタスクについて議論している。私は安価な方を選んで、再実行結果を待つだろう。

