Anthropic запровадила оптимізацію інтерфейсу для рендерера потокових відповідей Claude 24 серпня, спрямовану на вирішення проблеми, яку добре знають усі, хто намагався отримати довгу відповідь від чат-бота з ІІ на старішому пристрої: дратівливий цикл зупинок і заморожування, який перетворює розмову на слайд-шоу.
Оновлення стосується веб- та настільних застосунків Claude. За словами Anthropic, довгі відповіді тепер потоково передаються приблизно в 4 рази плавніше, зупинки на повільних ноутбуках зменшилися в 9 разів, а найгірші випадки зависань скоротилися в 4,5 рази. На апаратному забезпеченні, яке підтримує це, наприклад, на MacBook з частотою 120 Гц, рендерер може підтримувати 120 кадрів на секунду під час потокового виведення.
Що саме змінилося під капотом
Основна виправка елегантна своєю простотою. Раніше кожен надходячий токен з моделі Claude викликав перерисовування повного контейнера відповіді або принаймні значної його частини. Новий підхід обмежує оновлення інтерфейсу лише елементами, які справді змінилися, що призводить до значного зменшення обчислювальних навантажень на кожен токен — це найважливіше для пристроїв з обмеженим запасом GPU або старішими процесорами.
Важливо, що Anthropic не вносила жодних змін до своїх моделей чи API в цьому випуску. Швидкість генерації, якість виводу та базова інференс-пайплайн залишилися незмінними. Це чисто покращення рівня презентації.
Чому продуктивність інтерфейсу має значення в гонці ШІ
Цифра постійної частоти кадрів 120 fps особливо вагома. Більшість веб-застосунків взагалі не мають думати про частоту кадрів, але стрімінгові рендерери тексту є ефективно анімаціями. Кожен новий токен — це оновлення кадру. Коли ви генеруєте сотні токенів для довгої відповіді, це сотні послідовних оновлень кадрів, і будь-яка зупинка стає помітною як стрибок або заморозка.
Досягнення 120 кадрів на секунду на сумісному обладнанні означає, що рендерер Anthropic тепер може відповідати частоті оновлення дисплеїв Apple ProMotion без втрати кадрів.
Зворотний зв’язок та його межі
Реакція користувачів у соціальних мережах була переважно позитивною, багато хто зазначив, що покращення відразу відчувається під час тривалих розмов. Однак деякі відгуки підкреслили напруженість, з якою стикаються Anthropic та кожна інша компанія штучного інтелекту: полірування інтерфейсу не виправляє модель. Кілька користувачів зазначили, що більш плавне потокове відтворення не допомагає, коли Claude вигадує цитату або впевнено надає неправильну інформацію.
Оновлення також має наслідки для підприємницьких амбіцій Anthropic. Корпоративні користувачі часто використовують стандартизоване обладнання, яке застаріліше, ніж те, що використовують розробники та перші користувачі. Зменшення зупинок у 9 разів на повільних ноутбуках — це не просто приємна статистика для блогу. Це різниця між підприємним розгортанням, яке реально використовують співробітники, і тим, яке вони залишать через тиждень розчаровуючих зависань на користь конкурента.