自律エージェントは成功しても、非効率である可能性がある。 次に私が注目したい指標は、能力の次に効率だ。 @TheARCTERMINALは先日、Ethereum上で27種類のアクションタイプを扱い、オンチェーン決済を行う5つの自律エージェントを実行した。 昨日は失敗からの回復について考えていた。 今日はコストについて考えている。 2つのエージェントが同じ結果に達したとしても、一方が以下を必要とするなら: 10倍のリトライ 10倍のトランザクション より多くのコンピューティングリソース より多くのツール呼び出し それらは同等の能力を持っているわけではない。 エージェントに実際の経済的ステークが関わるようになれば、効率性は知性の一部となる。 興味深いベンチマークは、単に「エージェントはこのタスクを完了できるか?」ではなく、 「リソースを無駄にせずに、どれほど安定してこのタスクを完了できるか?」になる。 人間はすでにシステムをこのように評価している。 スピードだけでは不十分だ。 成功だけでは不十分だ。 コストだけでは不十分だ。 優れた自律性は、この3つをバランスよく実現する。 次に私が見たいエージェントランキングは、成功率 × 回復品質 × 成功あたりのコストだ。 あなたならどの指標を追加しますか?


