Tether запускает кроссплатформенную фреймворк BitNet LoRA для обучения моделей с миллиардами параметров на потребительских устройствах

PANews, 21 марта: Согласно официальному объявлению, Tether объявила о запуске кросс-платформенной фреймворки BitNet LoRA в QVAC Fabric для оптимизации обучения и вывода Microsoft BitNet (1-bit LLM). Эта фреймворка значительно снижает требования к вычислительной мощности и памяти, позволяя обучать и дообучать модели с параметрами в миллиарды на ноутбуках, потребительских GPU и смартфонах. Это первое решение, позволяющее дообучать модели BitNet на мобильных GPU (включая Adreno, Mali и Apple Bionic). Тесты показали, что модель с 125 млн параметров может быть дообучена за примерно 10 минут, модель с 1 млрд параметров — за около часа, а на смартфоне возможно масштабирование до модели с 13 млрд параметров. Кроме того, фреймворка поддерживает гетерогенные аппаратные платформы, включая Intel, AMD и Apple Silicon, и впервые обеспечивает LoRA-дообучение 1-bit LLM на устройствах, не использующих NVIDIA. С точки зрения производительности, скорость вывода модели BitNet на мобильных GPU превышает скорость на CPU в 2–11 раз, а占用 видеопамяти снижается до 77,8% по сравнению с традиционными 16-битными моделями. Tether отметила, что эта технология способна преодолеть зависимость от высокопроизводительных вычислительных ресурсов и облачной инфраструктуры, способствуя децентрализации и локализации AI-обучения, а также предоставляя основу для новых сценариев применения, таких как федеративное обучение.