Odaily Planet Daily сообщение: согласо официальному объявлению, Tether объявила о запуске кросс-платформенной фреймворки BitNet LoRA в QVAC Fabric для оптимизации обучения и вывода Microsoft BitNet (1-bit LLM). Эта фреймворка значительно снижает требования к вычислительной мощности и памяти, позволяя обучать и дообучать модели с параметрами в миллиарды на ноутбуках, потребительских GPU и смартфонах.
Это первое решение, позволяющее дообучать модели BitNet на мобильных GPU (включая Adreno, Mali и Apple Bionic). Тесты показали, что модель с 125 млн параметров может быть дообучена примерно за 10 минут, модель с 1 млрд параметров — за час, а на мобильных устройствах возможно масштабирование до модели с 13 млрд параметров.
Кроме того, эта система поддерживает гетерогенное оборудование, включая Intel, AMD и Apple Silicon, и впервые обеспечивает 1-битную LoRA-дообучку LLM на устройствах, не являющихся NVIDIA. С точки зрения производительности, модели BitNet демонстрируют скорость вывода на мобильных GPU в 2–11 раз выше, чем на CPU, а также снижают использование видеопамяти до 77,8% по сравнению с традиционными 16-битными моделями.
Tether заявляет, что эта технология способна преодолеть зависимость от высокопроизводительных вычислительных ресурсов и облачной инфраструктуры, способствуя децентрализации и локализации обучения ИИ, а также обеспечивая основу для новых сценариев применения, таких как федеративное обучение.