Tether запускает TurboQuant для запуска более крупных ИИ-моделей на устройствах

• Tether’s TurboQuant снижает использование памяти ИИ до 5 раз, позволяя устройствам выполнять более длительные задачи локально.
• QVAC 0.12.0 позволяет разработчикам запускать более крупные AI-задачи на ноутбуках и телефонах с меньшей нагрузкой на память.
• TurboQuant устраняет проблему памяти ИИ, позволяя вести более длинные чаты, работать с большими файлами и крупными проектами кода.

Tether добавила новый инструмент оптимизации памяти в QVAC SDK 0.12.0, что может помочь ноутбукам, смартфонам и другим устройствам обрабатывать более крупные задачи локально. Объявив об обновлении на X, генеральный директор Паоло Ардодино отметил, что выпуск включает TurboQuant — технологию, снижающую требования к памяти ИИ до пяти раз при сохранении почти того же качества вывода.

Обновление сосредоточено на ключевом ограничении больших языковых моделей: памяти. По мере увеличения длины разговоров и задач требования к памяти резко возрастают. TurboQuant снижает эту нагрузку, позволяя устройствам работать с большими документами, более длинными разговорами и большим объемом информации одновременно.

Релиз также добавляет генерацию видео из текста, функции управления роботами, поддержку помощника по программированию, улучшения обработки голоса и более быстрые инструменты для классификации изображений.

TurboQuant находится в центре выпуска QVAC SDK 0.12.0. Эта технология сжимает KV-кэш — тип рабочей памяти, который используют модели ИИ для отслеживания разговоров, документов и другой информации во время сессии.

Потребление памяти растет, когда пользователи вводят в модель все больше информации. Tether сообщила, что модель с 4 миллиардами параметров, обрабатывающая около 262 000 токенов, может требовать примерно 8 ГБ памяти только для кэша. Запуск нескольких сессий такого масштаба может быстро превысить возможности многих ноутбуков и потребительских устройств.

TurboQuant стремится снизить эту нагрузку. Согласно Tether, эта технология может сократить требования к памяти KV-кэша в пять раз при сохранении практически того же качества вывода. В результате пользователи могут работать с более длинными беседами, большими документами и крупными кодовыми базами, не полагаясь так сильно на удаленные вычислительные ресурсы.

Обновление включает не только улучшения памяти. QVAC SDK 0.12.0 добавляет несколько новых инструментов, направленных на расширение возможностей для разработчиков по запуску приложений на локальных устройствах.

Среди новых функций — поддержка генерации видео из текста с помощью модели Wan2.1. Платформа также представляет функцию «визуально-языковое-действие», позволяющую разработчикам создавать приложения для управления роботами.

Релиз также добавляет легковесный инструмент классификации изображений, предназначенный для задач, не требующих крупных компьютерных зрительных моделей. В то же время QVAC перевела свои системы преобразования текста в речь и транскрипции на движок GGML — это изменение расширяет поддержку на основных настольных и мобильных операционных системах.

Разработчики также получили новые возможности для ассистентов по кодированию. QVAC теперь интегрируется с OpenCode и OpenClaw через пакет провайдера, упрощающий управление и развертывание моделей.

См. также: Сооснователь Multicoin заявляет, что «Web3 мёртв» на фоне кризиса идентичности криптовалют

Релиз демонстрирует фокус Tether на выполнении большего количества вычислительных задач непосредственно на устройствах пользователей, а не на полной зависимости от централизованных центров обработки данных. Компания все больше сосредотачивается на программном обеспечении, способном работать на персональных устройствах, локальных сетях и децентрализованных системах.

Исследования Google показали, что память ИИ можно сжимать намного эффективнее, чем предполагали большинство людей. Наша работа превращает этот прорыв в производственное программное обеспечение, с которым могут работать разработчики, стартапы и пользователи», — сказал Ардуино.

Он добавил: «Люди должны иметь возможность просить ИИ-ассистента прочитать длинный документ, запомнить проект, помочь с кодом или работать с конфиденциальной информацией, не заставляя каждую задачу проходить через удаленный центр обработки данных».

Запуск происходит на фоне расширения усилий Tether за пределы инструментов оптимизации памяти. Ардойно недавно раскрыл, что компания разрабатывает открытый одноранговый поисковый движок и продемонстрировал систему децентрализованного поиска по Википедии.

См. также: Майкл Берри называет сделку Nvidia на $5,4 млрд на GPU «фугаци»