- Фреймворк BitNet LoRA від Tether дозволяє навчати моделі штучного інтелекту на смартфонах, GPU та побутових пристроях.
- Система зменшує використання пам’яті та підвищує продуктивність, зменшуючи вимоги до VRAM до 77,8%.
- Користувачі можуть доналаштовувати моделі до 13 мільярдів параметрів на мобільних пристроях, розширюючи можливості крайового ШІ.
Tether анонсував нову AI-рамку через свою платформу QVAC Fabric, що дозволяє проводити навчання BitNet LoRA на потребительських пристроях. Оновлення дозволяє запускати моделі з мільярдами параметрів на смартфонах і GPU. Генеральний директор Паоло Ардодіно поділився розробкою, підкресливши зниження витрат і ширший доступ до інструментів ШІ.
Навчання штучного інтелекту між платформами розширює доступ
Оновлення QVAC Fabric додає підтримку міжплатформенного fine-tuning BitNet LoRA. Це дозволяє запускати AI-моделі на різних апаратних засобах та операційних системах.
Варто зазначити, що фреймворк підтримує GPU від AMD, Intel та Apple, включаючи мобільні чіпси. Він також використовує бекенди Vulkan і Metal для сумісності.
За даними Tether, це перший раз, коли BitNet LoRA працює на такому широкому спектрі пристроїв. Як наслідок, користувачі можуть навчати моделі на звичайному обладнанні.
Підвищення продуктивності на побутовому обладнанні
Система зменшує вимоги до пам’яті та обчислень, поєднуючи технології BitNet і LoRA. BitNet стискає ваги моделі до спрощених значень, тоді як LoRA обмежує кількість навчальних параметрів.
Разом ці методи знижують вимоги до апаратного забезпечення значно. Наприклад, висновок на GPU працює від двох до одинадцяти разів швидше, ніж на CPU на мобільних пристроях.
Крім того, використання пам’яті різко знижується порівняно з моделями повної точності. Тестування показує до 77,8% меншого використання VRAM, ніж у порівнянних системах.
Tether також продемонстрував доналаштування на смартфонах. Тести показали, що моделі з 125 мільйонами параметрів навчаються за хвилини на пристроях, таких як Samsung S25.
Мобільні та крайові пристрої обробляють більші моделі
Фреймворк дозволяє запускати більші моделі на пристроях на краю. Tether повідомив про успішне доналаштування моделей до 13 мільярдів параметрів на iPhone 16.
Крім того, система підтримує мобільні GPU, такі як Adreno, Mali та Apple Bionic. Це розширює можливості розробки штучного інтелекту поза спеціалізованим обладнанням.
За словами Паоло Ардойно, розробка ШІ часто залежить від дорогого інфраструктурного забезпечення. Він сказав, що ця структура зміщує можливості на локальні пристрої.
Tether додала, що система зменшує залежність від централізованих платформ. Вона також дозволяє користувачам навчати та обробляти дані безпосередньо на їхніх пристроях.