Kimi K3 і Fable 5 майже зв’язали в бенчмарку AI-агентів, загальна точність досягла 93%

За даними Beating Monitoring, платформа AI-виведення Fireworks протестувала Kimi K3 і Fable 5 за допомогою однієї й тієї ж каркасної системи агентів, охопивши п’ять типів завдань: виправлення коду, довготривалі термінальні операції, алгоритми, багатомовне програмування та право. Обидві моделі показали майже однаковий загальний результат, але відрізняються за сильними сторонами. K3 краще справляється з безпекою, криптографією та довготривалими термінальними операціями, тоді як Fable 5 краще підходить для багатомовного програмування, веб-сайтів та візуалізації даних. Fireworks провела ще один експеримент з «божественним поглядом»: одночасно запускала обидві моделі для кожного завдання, а потім вибирала правильну та найдешевшу відповідь. Комбінована точність досягла 93%, що вище за будь-яку окрему модель. K3 виконав 72–96% усіх завдань, тоді як Fable 5 обробляв лише невелику кількість довгих хвильових завдань. K3 має нижчі витрати на всі п’ять типів завдань — у довготривалих термінальних операціях вона дешевша приблизно у 50 разів за Fable 5. Однак 93% — це лише симульований результат з «божественного погляду», а не реальний результат маршрутизації, який вже реалізувала Fireworks. K3 буде відкритий 27 липня і запущений на Fireworks.