Odaily Planet Daily: За офіційним оголошенням, Tether оголосила про запуск мультиплатформового фреймворку BitNet LoRA в QVAC Fabric для оптимізації навчання та висновків Microsoft BitNet (1-bit LLM). Цей фреймворк значно зменшує вимоги до обчислювальних ресурсів та пам’яті, дозволяючи навчати та доналаштовувати моделі з мільярдом параметрів на ноутбуках, споживчих GPU та смартфонах.
Ця схема вперше забезпечує доналаштування моделей BitNet на мобільних GPU (включаючи Adreno, Mali та Apple Bionic). Тестування показало, що модель з 125 мільйонами параметрів може бути доналаштована приблизно за 10 хвилин, модель з 1 мільярдом параметрів — за годину, а навіть модель з 13 мільярдами параметрів може бути масштабована на мобільному пристрої.
Крім того, ця рамка підтримує гетерогенні апаратні засоби, такі як Intel, AMD та Apple Silicon, і вперше забезпечує 1-бітне LoRA-доналаштування LLM на пристроях, що не використовують NVIDIA. Щодо продуктивності, інференс моделей BitNet на мобільних GPU швидший у 2–11 разів порівняно з CPU, а також використання відеопам’яті зменшується до 77,8% порівняно з традиційними 16-бітними моделями.
Tether вказує, що ця технологія має потенціал зменшити залежність від високопродуктивних обчислювальних ресурсів та хмарної інфраструктури, сприяти децентралізації та локалізації навчання ШІ та надати основу для нових застосувань, таких як федераційне навчання.