Cerebras тестує модель Kimi K2.6 зі швидкістю на 29 разів вищою у завданнях з довгими текстами

ME News повідомляє, 20 травня (UTC+8), за даними моніторингу Beating, компанія Cerebras, що виробляє чіпи на рівні вугілля, оголосила про запуск великої моделі з трильйоном параметрів Kimi K2.6 у корпоративному тестуванні, повністю усунувши затримки з’єднання традиційних платних комунікацій шляхом інтеграції чіпа на цілій 12-дюймовій кремнієвій вугіллі. За результатами незалежного тестування від Artificial Analysis, швидкість генерації досягла 981 токенів/с — у 6,7 раза швидше, ніж у популярних хмарних сервісах на базі GPU. У завданні з довгим текстом — 10 000 токенів на вхід і 500 на вихід — загальний час відповіді скоротився з 163,7 секунди через офіційний інтерфейс Kimi до 5,6 секунди, що становить прискорення у 29 разів. Оскільки ваги моделі розподілено між кількома вугіллями для потокової передачі активацій, а міжшарова комунікація повністю виконується на мережевому полотні всередині вугілля, фізична пропускна здатність з’єднання перевищує NVLink у архітектурі NVIDIA NVL72 більше ніж у 200 разів. У поєднанні з оптимізацією розподіленого обчислення, Kimi K2.6 зберігає ваги в оригінальному 4-бітному (4-бітному) форматі з мінімальними втратами, під час обчислень використовує 16-бітні (16-бітні) числа з плаваючою комою для збереження точності та застосовує кастомні ядра операторів та передбачувальне декодування для досягнення реального часу роботи. (Джерело: BlockBeats)