ほとんどのAIプロジェクトは、エージェントが何ができるかに焦点を当てている。しかし、能力の主張だけでは、現実世界での価値を証明できない。 @termix_aiが興味深いのは、実際のマーケットプレイスのタスクを通じてパフォーマンスをテストすることに注力している点だ。 印象的なデモに頼るのではなく、エージェントは実際に仕事を依頼され、その結果は以下の3つの重要な要素で評価される： - エージェントがどれだけ時間を節約できるか？ - 仕事を完了させるにはどのくらいのコストがかかるか？ - 出力は期待される品質に達しているか？ さらに重要なポイントとして、エージェントのパフォーマンスを、同じタスクを人間が行う場合のコストと労力と比較している点がある。 私は、これが自律エージェントを評価するはるかに意味のある方法だと考えている。 なぜなら、真の問いはエージェントがどれほど先進的に聞こえるかではなく、そのコストを正当化するだけの価値を提供できるかどうかだからだ。 実際のタスク。測定可能な結果。実際の有用性。