Dans notre système, un agent examine chaque session Devin terminée — d'abord en classant si elle a produit une sortie utile, puis en estimant le temps qu'un ingénieur humain aurait mis pour produire le même travail. Nous l'avons validé en demandant à des ingénieurs humains combien de temps ils auraient passé sur les mêmes tâches. Je pense qu'ils l'ont fait correctement, mais je ne crois toujours pas aux prédictions humaines concernant l'estimation des délais liés au flux de travail, car ils ont des « égos ».