ChainCatcher rapporte que Alma, un Agent IA local développé par le développeur indépendant Yetone, a obtenu le troisième rang pour le taux de réussite des tâches et le coût de réussite lors de la dernière évaluation menée par Runta, une entreprise d'infrastructure pour les Agents IA, surpassant des outils tels que Claude Code et OpenCode. Selon le snapshot actuel du classement, Alma affiche un taux de réussite de 72,7 %, juste derrière Codex CLI (77,9 %) et Pi (72,8 %), tandis que Claude Code atteint 70,0 %. Alma coûte en moyenne environ 0,80 $ pour chaque tâche réussie, contre 0,94 $ pour Claude Code, soit une réduction de coûts d'environ 16 %. Cette évaluation, basée sur FrontierHarness v1.1, compare les performances de grands modèles sous différents cadres d'exécution d'Agents, couvrant 21 configurations de Harness, 5 grands modèles et 62 tâches, chaque tâche étant répétée 4 fois pour un total planifié de 26 040 exécutions — 72 fois plus que la version précédente. Tous les outils ont été exécutés dans un environnement cloud uniforme, avec une comparaison du taux de réussite des tâches, du coût en tokens et de la vitesse d'exécution. Alma se distingue par son exécution locale et sa mémoire à long terme, permettant de lire et modifier du code, d'exécuter des commandes terminales, de rechercher sur le web, et de prendre en charge les Skills et MCP, tout en permettant de changer le modèle sous-jacent. Récemment, Alma a intégré Herdr, permettant à des Agents de programmation tels que Claude Code, Codex et Pi de continuer à fonctionner dans Herdr, tout en étant centralisés dans une même interface de discussion pour surveiller les exécutions, répondre aux questions et approuver les actions. Les utilisateurs peuvent également gérer à distance plusieurs Agents sur leur ordinateur via leur iPhone. L'évaluation n'est pas encore terminée et les classements peuvent encore évoluer ; les modèles testés sont uniquement des modèles open source tels que GLM, DeepSeek, Kimi et Muse, sans inclure les modèles propriétaires GPT et Claude.
Alma surpasse Claude Code en taux de réussite des tâches et en coût
ChaincatcherPartager
Résumé
Alma devance Claude Code en taux de réussite et en efficacité coûts, selon le benchmark Runta's FrontierHarness v1.1. Développé par Yetone, Alma a atteint un taux de réussite de 72,7 % avec un coût moyen de 0,80 $ par tâche, soit 16 % moins cher que Claude Code. Le test a impliqué 26 040 exécutions réparties sur 62 tâches. Alma prend en charge l'exécution locale, l'édition de code et s'intègre à Herdr. Alors que le marché des cryptomonnaies reste volatil, les développeurs suivent de près l'indice de peur et de cupidité à la recherche de signes de changement de sentiment.
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations.
Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.