Même modèle, mêmes tâches, et un harnais coûte deux fois plus cher par tâche résolue. Garry Tan exécute des évaluations open source qui ne changent que l’enveloppe autour du modèle. Sur Opus, OpenClaw paie environ 0,44 $ par résolution et environ 99 s par essai. Claude coûte 0,22 $ et 40 s. Sur Sol, Codex était le moins cher à 0,17 $. Les scores n’ont pas du tout varié. 7 configurations, 20 tâches de codage, tous ont obtenu entre 71 % et 79 %, et 14 des 20 tâches ont donné exactement les mêmes résultats partout. Le test était donc trop facile (une nouvelle exécution sur Terminal-Bench plus difficile est en cours). Tout le monde qui débat sur quel agent est le plus intelligent débat actuellement sur 6 tâches. Je choisirais celui qui est le moins cher et j’attendrais la nouvelle évaluation.
Sad CreatorPartager
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations.
Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.