Anthropic внедрила оптимизацию фронтенда для рендерера потоковых ответов Claude 24 августа, устраняя проблему, с которой хорошо знакомы все, кто когда-либо пытался получить длинный ответ от ИИ-чата на более старом устройстве: раздражающий цикл заикания и заморозки, превращающий разговор в слайд-шоу.
Обновление распространяется на веб- и настольные приложения Claude. Согласно Anthropic, длинные ответы теперь потоково выводятся примерно в 4 раза плавнее, остановки на медленных ноутбуках сократились в 9 раз, а случаи полной заморозки в худшем сценарии уменьшились в 4,5 раза. На оборудовании, которое это поддерживает, например, на MacBook с частотой 120 Гц, рендерер может поддерживать 120 кадров в секунду во время потоковой передачи.
Что именно изменилось внутри
Основное исправление отличается элегантной простотой. Ранее каждый входящий токен от модели Claude вызывал перерисовку всего контейнера ответа или по крайней мере значительной его части. Новый подход ограничивает обновления интерфейса только теми элементами, которые действительно изменились, что значительно снижает вычислительные затраты на каждый токен — это особенно важно для устройств с ограниченными возможностями GPU или более старыми процессорами.
Важно, что Anthropic не вносила никаких изменений в свои модели или API с этим выпуском. Скорость генерации, качество вывода и базовая инференс- Pipeline остались без изменений. Это исключительно улучшение на уровне представления.
Почему производительность интерфейса важна в гонке ИИ
Цифра в 120 кадров в секунду с постоянной частотой особенно показательна. Большинство веб-приложений вообще не учитывают частоту кадров, но стриминговые рендеры текста по сути являются анимациями. Каждый новый токен — это обновление кадра. Когда вы генерируете сотни токенов для длинного ответа, это сотни последовательных обновлений кадров, и любая задержка становится заметной как рывок или заморозка.
Достижение 120 кадров в секунду на совместимом оборудовании означает, что рендерер Anthropic теперь может соответствовать частоте обновления дисплеев Apple ProMotion без потери кадров.
Обратная связь и её ограничения
Реакция пользователей в социальных сетях была в основном положительной: многие отмечали, что улучшение сразу же ощущается во время продолжительных бесед. Однако некоторые ответы подчеркнули напряжение, с которым сталкиваются Anthropic и все другие компании, работающие в сфере ИИ: улучшение интерфейса не исправляет модель. Несколько пользователей отметили, что более плавная передача текста не помогает, когда Claude выдумывает цитату или уверенно предоставляет неверную информацию.
Обновление также имеет последствия для корпоративных амбиций Anthropic. Корпоративные пользователи часто используют стандартизированное оборудование, которое устаревает быстрее, чем то, что используют разработчики и ранние адепты. Снижение на 9 раз числа остановок на более медленных ноутбуках — это не просто приятная статистика для блога. Это разница между развертыванием, которое сотрудники действительно используют, и тем, которое они бросают в пользу конкурента после недели раздражающих зависаний.