当社のシステムでは、エージェントが完了したDevinセッションを1つずつレビューし、まず有用な出力が得られたかを分類した後、同様の作業を人間のエンジニアが行うのにどれだけの時間がかかったかを推定します。これは、人間のエンジニアに同じタスクにどれだけの時間を費やしたかを尋ねることで検証しました。 彼らはこれを適切に行っていると思いますが、私は依然として、人間がワークフロー関連のタイムラインを予測する能力を信じていません。なぜなら、彼らには「エゴ」があるからです。