- El marco BitNet LoRA de Tether permite el entrenamiento de modelos de IA en smartphones, GPU y dispositivos de consumo.
- El sistema reduce el uso de memoria y mejora el rendimiento, con hasta un 77,8% menos de requisitos de VRAM.
- Los usuarios pueden ajustar modelos de hasta 13 mil millones de parámetros en dispositivos móviles, ampliando las capacidades de IA en el borde.
Tether announced un nuevo marco de IA a través de su plataforma QVAC Fabric, que permite el entrenamiento cross-platform de BitNet LoRA en dispositivos de consumo. La actualización permite ejecutar modelos de miles de millones de parámetros en smartphones y GPUs. El CEO Paolo Ardoino compartió el desarrollo, destacando la reducción de costos y un mayor acceso a herramientas de IA.
El entrenamiento de IA entre plataformas amplía el acceso
La actualización de QVAC Fabric introduce compatibilidad entre plataformas para el ajuste fino de BitNet LoRA. Esto permite que los modelos de IA funcionen en diferentes hardware y sistemas operativos.
Destacadamente, el marco admite GPU de AMD, Intel y Apple, incluidos los chipsets móviles. También utiliza backends Vulkan y Metal para compatibilidad.
Según Tether, esta es la primera vez que BitNet LoRA funciona en una gama tan amplia de dispositivos. Como resultado, los usuarios pueden entrenar modelos en hardware cotidiano.
Mejoras de rendimiento en hardware de consumo
El sistema reduce las necesidades de memoria y cómputo combinando las técnicas BitNet y LoRA. BitNet comprime los pesos del modelo en valores simplificados, mientras que LoRA limita los parámetros entrenables.
Juntos, estos métodos reducen significativamente los requisitos de hardware. Por ejemplo, la inferencia de GPU es de dos a once veces más rápida que la de CPU en dispositivos móviles.
Además, el uso de memoria disminuye drásticamente en comparación con los modelos de precisión completa. Las pruebas muestran hasta un 77,8% menos de uso de VRAM que los sistemas comparables.
Tether también demostró el ajuste fino en smartphones. Las pruebas mostraron que modelos de 125 millones de parámetros se entrenaron en minutos en dispositivos como el Samsung S25.
Los dispositivos móviles y de borde manejan modelos más grandes
El marco permite ejecutar modelos más grandes en dispositivos periféricos. Tether informó sobre el ajuste exitoso de modelos de hasta 13 mil millones de parámetros en el iPhone 16.
Además, el sistema admite GPU móviles como Adreno, Mali y Apple Bionic. Esto amplía el desarrollo de IA más allá del hardware especializado.
Según Paolo Ardoino, el desarrollo de la IA a menudo depende de infraestructura costosa. Él dijo que este marco desplaza las capacidades hacia dispositivos locales.
Tether añadió que el sistema reduce la dependencia de plataformas centralizadas. También permite a los usuarios entrenar y procesar datos directamente en sus dispositivos.