- Фреймворк BitNet LoRA от Tether позволяет обучать модели ИИ на смартфонах, GPU и потребительских устройствах.
- Система снижает использование памяти и повышает производительность, снизив требования к VRAM до 77,8%.
- Пользователи могут донастраивать модели до 13 миллиардов параметров на мобильных устройствах, расширяя возможности ИИ на границе.
Tether анонсировала новую ИИ-платформу через свою платформу QVAC Fabric, позволяющую обучать BitNet LoRA на потребительских устройствах в кросс-платформенном режиме. Обновление позволяет запускать модели с миллиардами параметров на смартфонах и GPU. Генеральный директор Паоло Ардодино поделился этой разработкой, подчеркнув снижение затрат и расширение доступа к ИИ-инструментам.
Обучение ИИ на нескольких платформах расширяет доступ
Обновление QVAC Fabric добавляет поддержку кросс-платформенной тонкой настройки BitNet LoRA. Это позволяет запускать ИИ-модели на различных аппаратных платформах и операционных системах.
Примечательно, что фреймворк поддерживает GPU от AMD, Intel и Apple, включая мобильные чипсеты. Он также использует бэкенды Vulkan и Metal для совместимости.
Согласно Tether, это первый раз, когда BitNet LoRA работает на таком широком спектре устройств. В результате пользователи могут обучать модели на обычном оборудовании.
Повышение производительности на потребительском оборудовании
Система снижает требования к памяти и вычислительным ресурсам за счет объединения технологий BitNet и LoRA. BitNet сжимает веса модели до упрощенных значений, а LoRA ограничивает количество обучаемых параметров.
Вместе эти методы снижают требования к оборудованию значительно. Например, вывод на GPU работает в два-одиннадцать раз быстрее, чем на CPU на мобильных устройствах.
Кроме того, использование памяти резко снижается по сравнению с моделями полной точности. Тесты показывают до 77,8% меньшего использования VRAM по сравнению с аналогичными системами.
Tether также продемонстрировала тонкую настройку на смартфонах. Тесты показали, что модели с 125 миллионами параметров можно обучать за минуты на устройствах, таких как Samsung S25.
Мобильные и граничные устройства обрабатывают более крупные модели
Фреймворк позволяет запускать более крупные модели на краевых устройствах. Tether сообщила об успешной дообучке моделей до 13 миллиардов параметров на iPhone 16.
Кроме того, система поддерживает мобильные GPU, такие как Adreno, Mali и Apple Bionic. Это расширяет возможности разработки ИИ за пределы специализированного оборудования.
Согласно Паоло Ардойно, развитие ИИ часто зависит от дорогостоящей инфраструктуры. Он сказал, что эта система смещает возможности в сторону локальных устройств.
Tether добавила, что система снижает зависимость от централизованных платформ. Она также позволяет пользователям обучать и обрабатывать данные непосредственно на своих устройствах.