Kimi K3 rattrape Fable5 dans le benchmark AA-Briefcase, le coût des tâches augmente de 10 fois

iconChainthink
Partager
AI summary iconRésumé
Actualités sur la chaîne : Kimi K3 a obtenu 1543 Elo dans le benchmark mis à jour AA-Briefcase, derrière les 1574 de Fable5 mais avec de meilleures performances que les modèles GPT-5.6 Sol et Claude. Le test consistait à extraire des données de plus de 2000 e-mails et documents provenant de 4 projets et 91 tâches. Kimi K3 a réussi 51 % des objectifs, obtenu 1754 en qualité analytique, mais a été en retard sur la présentation finale. Les coûts des tâches ont augmenté de 10 fois pour atteindre 10,57 $, chaque exécution prenant 56,4 minutes et 120 000 jetons. Les nouvelles sur les taux d'intérêt n'ont eu aucun impact direct sur les résultats.

Message de ChainThink, le 22 juillet, Artificial Analysis met à jour le classement AA-Briefcase : Kimi K3 obtient un score de 1543 Elo, derrière Claude Fable 5 avec 1574, mais au-dessus de GPT-5.6 Sol avec 1501, Claude Sonnet 5 et Claude Opus 4.8.

AA-Briefcase exige que le modèle recherche des informations dans près de 2 000 e-mails, enregistrements Slack et documents d'entreprise, et fournisse des tableaux, des présentations et des prototypes d'interface, comprenant 4 projets à long terme et 91 tâches confidentielles.

En ce qui concerne les détails, le taux de passage des exigences objectives de K3 est de 51 %, inférieur aux 56 % de Fable 5 ; la note de qualité d'analyse est de 1754, légèrement supérieure aux 1744 de Fable 5.

Les principaux écarts de K3 se situent dans la présentation des produits finis, en dessous de GPT-5.6 Sol et Opus 4.8. En termes de coût, K3 dépense en moyenne 10,57 dollars par tâche, soit environ 10 fois le coût de Kimi K2.6 ;

Moyenne de 83 tours exécutés, sortie de 120 000 tokens, durée de 56,4 minutes ; le temps nécessaire pour accomplir cette tâche est environ 2,5 fois supérieur à celui de Fable 5.

Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations. Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.