Tether запускає TurboQuant для підтримки більших моделей ШІ на пристроях

• Tether’s TurboQuant зменшує використання пам’яті ШІ до 5 разів, допомагаючи пристроям виконувати довші завдання локально.
• QVAC 0.12.0 дозволяє розробникам запускати більші завантаження ШІ на ноутбуках і телефонах з меншим навантаженням на пам’ять.
• TurboQuant вирішує проблему обмеження пам’яті ШІ, дозволяючи довші чати, більші файли та більші проекти коду.

Tether додала новий інструмент оптимізації пам’яті до QVAC SDK 0.12.0, що може допомогти ноутбукам, смартфонам та іншим пристроям обробляти більші завдання локально. Оголосивши про оновлення на X, генеральний директор Паоло Ардойно сказав, що випуск включає TurboQuant — технологію, яка зменшує вимоги до пам’яті штучного інтелекту до п’яти разів, зберігаючи майже ту саму якість виводу.

Оновлення зосереджено на ключовому обмеженні великих мовних моделей: пам’яті. Зі збільшенням тривалості розмов і завдань вимоги до пам’яті стрімко зростають. TurboQuant зменшує це навантаження, дозволяючи пристроям працювати з більшими документами, довшими розмовами та більше інформації одночасно.

Реліз також додає генерацію відео з тексту, функції керування роботами, підтримку асистента з програмування, покращення обробки голосу та швидші інструменти класифікації зображень.

TurboQuant знаходиться в центрі випуску QVAC SDK 0.12.0. Ця технологія стискає KV-кеш — тип оперативної пам’яті, яку використовують моделі ШІ для відстеження розмов, документів та іншої інформації під час сесії.

Потреби в пам’яті зростають, коли користувачі надають моделі більше інформації. Tether зазначила, що модель з 4 мільярдами параметрів, яка обробляє близько 262 000 токенів, може вимагати приблизно 8 ГБ пам’яті лише для кешу. Запуск кількох сесій такого масштабу швидко перевищує межі багатьох ноутбуків і побутових пристроїв.

TurboQuant прагне зменшити це навантаження. За даними Tether, ця технологія може зменшити вимоги до пам’яті KV-кешу до п’яти разів, зберігаючи майже ту саму якість виводу. Як наслідок, користувачі можуть працювати з довшими діалогами, більшими документами та більшими кодовими базами, не покладаючись так сильно на зовнішні обчислювальні ресурси.

Оновлення включає не лише покращення пам’яті. QVAC SDK 0.12.0 додає кілька нових інструментів, спрямованих на розширення можливостей, які розробники можуть використовувати на локальних пристроях.

Серед нових функцій — підтримка генерації відео з тексту за допомогою моделі Wan2.1. Платформа також вводить функцію «зображення-мова-дія», яка дозволяє розробникам створювати додатки для керування роботами.

Реліз також додає легковагий інструмент класифікації зображень, призначений для завдань, які не вимагають більших візуальних моделей. Разом із тим, QVAC перевів свої системи тексту в мову та транскрипції на свій двигун GGML — зміна, що розширює підтримку на основних настільних та мобільних операційних системах.

Розробники також отримали нові можливості для асистентів з кодування. QVAC тепер інтегрований з OpenCode та OpenClaw через пакет провайдера, який спрощує управління та розгортання моделей.

Пов’язано: Співзасновник Multicoin оголосив, що «Web3 мертвий» на тлі кризи криптовалютної ідентичності

випуск демонструє зосередженість Tether на виконанні більшої кількості обчислювальних завдань безпосередньо на пристроях користувачів, а не на повній залежності від централизованих центрів обробки даних. Компанія все більше зосереджується на програмному забезпеченні, яке може працювати на персональних пристроях, локальних мережах та децентралізованих системах.

Дослідження Google показало, що пам’ять ШІ можна стиснути набагато ефективніше, ніж вважали більшість людей. Наша робота переносить цей прорив у програмне забезпечення для виробництва, яке розробники, стартапи та користувачі можуть реально використовувати», — сказав Ардойно.

Він додав: «Люди повинні мати можливість просити AI-асистента прочитати довгий документ, запам’ятати проект, допомогти з кодом або працювати з приватною інформацією, не змушуючи кожне завдання проходити через віддалений центр обробки даних».

Запуск відбувається на тлі розширення зусиль Tether за межами інструментів оптимізації пам’яті. Ардойно недавно розкрив, що компанія розробляє відкритий пошуковий двигун типу peer-to-peer і продемонстрував систему децентралізованого пошуку у Вікіпедії.

Пов’язано: Майкл Беррі називає угоду Nvidia на $5,4 млрд на GPU «фугаці»