Ramp SWE-Bench Benchmark : Claude Fable 5 arrive en tête avec un taux de réussite de 87,5 %

iconKuCoinFlash
Partager
AI summary iconRésumé
Ramp, une fintech unicorn, a publié son benchmark SWE-Bench pour les agents de codage par IA, comprenant 80 tâches backend issues d’environnements de production réels. Claude Fable 5 d’Anthropic a obtenu 87,5 %, le meilleur score parmi 14 modèles. Les actualités IA + crypto mettent en avant l’efficacité coûts de Claude Opus 4.8 à 1,09 $ par exécution. Les modèles nationaux Kimi K2.6 et GLM 5.1 ont suivi avec respectivement 72,5 % et 71,25 %. GPT-5.4 Mini a été le leader parmi les modèles légers avec 58,75 %. Ramp a souligné que les compromis entre performance, vitesse et coût sont essentiels pour le déploiement. Les actualités sur les taux d’intérêt restent un axe distinct pour les traders.
ME AI消息，根据动察Beating监测，金融科技独角兽Ramp发布了针对前沿AI编码智能体的私有测试基准Ramp SWE-Bench。Ramp SWE-Bench包含80个源自Ramp真实生产环境的后端开发任务，旨在解决公共评估数据集因模型预训练而导致的数据泄露与指标饱和问题。测试任务均提取自Ramp内部AI编码助手Inspect成功部署到生产环境的真实拉取请求（PR）。每个任务重构了PR提交前的基础代码库，保留合并的代码与测试作为黄金标准，并提取工程师在Inspect对话中的原始意图作为提示词。评估采用mini-swe-agent沙箱环境，以单次运行成功通过所有测试且不破坏现有功能（pass@1）作为通过标准。根据公布的14款模型横向评测结果，Anthropic最新推出的Claude Fable 5以87.5%的解决率高居榜首。Claude Opus 4.7和GPT-5.5并列第二，解决率均为83.75%。Claude Opus 4.8虽然解决率为77.5%，但单次任务平均运行时间缩短至8分30秒，单次运行成本仅为1.09美元，不足Fable 5运行成本的40%，展现出极佳的成本效益。测试数据还揭示了不同模型在价格与性能间的权衡。国产模型Kimi K2.6与GLM 5.1解决率相近，分别为72.5%与71.25%，但Kimi K2.6的平均成本为0.69美元，比GLM 5.1便宜约34%。在轻量级模型中，GPT-5.4 Mini以58.75%的解决率领先Claude Haiku 4.5约10个百分点，且平均成本和步骤数均减半。Ramp指出，随着模型走向应用，性能、速度与成本的权衡正成为工程落地时的关键考量。（来源：BlockBeats）
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations. Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.