PANews, 21 березня: За офіційним оголошенням, Tether оголосила про запуск мультиплатформового фреймворку BitNet LoRA для тонкої настройки в QVAC Fabric, що оптимізує навчання та висновки для Microsoft BitNet (1-бітний LLM). Цей фреймворк значно зменшує вимоги до обчислювальних ресурсів та пам’яті, дозволяючи навчати та тонко налаштовувати моделі з мільярдом параметрів на ноутбуках, потребуваних GPU та смартфонах. Це перший випадок, коли моделі BitNet можна тонко налаштовувати на мобільних GPU (включаючи Adreno, Mali та Apple Bionic). Тестування показало, що модель з 125 млн параметрів може бути тонко налаштована за приблизно 10 хвилин, модель з 1 млрд параметрів — за годину, а на смартфоні можливе розширення до моделей з 13 млрд параметрів. Крім того, фреймворк підтримує гетерогенні апаратні платформи, такі як Intel, AMD та Apple Silicon, і вперше забезпечує LoRA-тонку настройку 1-бітних LLM на пристроях, що не використовують NVIDIA. Щодо продуктивності: швидкість висновку моделей BitNet на мобільних GPU в 2–11 разів вища, ніж на CPU, а використання відеопам’яті зменшується до 77,8% порівняно з традиційними 16-бітними моделями. Tether зазначила, що ця технологія має потенціал зменшити залежність від високопродуктивних обчислювальних ресурсів та хмарної інфраструктури, сприяючи децентралізації та локалізації навчання ШІ, а також надаючи основу для нових сценаріїв застосування, таких як федераційне навчання.
Tether запускає крос-платформу BitNet LoRA для навчання моделей з мільярдами параметрів на споживчих пристроях
PANewsПоділитися
Короткий зміст
Tether представила кроссплатформенний фреймворк BitNet LoRA для новин у блокчейні та крипто-новин, що дозволяє навчати 1-бітні моделі BitNet від Microsoft на побутовому обладнанні. Інструмент дозволяє запускати моделі з мільярдами параметрів на ноутбуках, смартфонах та GPU, таких як Adreno, Mali та Apple Bionic. Налаштування моделі з 1 мільярдом параметрів займає близько години. Система підтримує Intel, AMD та Apple Silicon, забезпечуючи перший у світі доступ до 1-бітного LoRA-налаштування LLM для пристроїв, що не використовують NVIDIA. Моделі BitNet працюють у 2–11 разів швидше на мобільних GPU порівняно з CPU, використовуючи на 77,8% менше пам’яті, ніж 16-бітні версії. Tether стверджує, що ця технологія зменшує залежність від хмарних сервісів і дозволяє здійснювати децентралізоване навчання штучного інтелекту.
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.