- O framework BitNet LoRA da Tether permite o treinamento de modelos de IA em smartphones, GPUs e dispositivos de consumo.
- O sistema reduz o uso de memória e aumenta o desempenho, com até 77,8% menos exigências de VRAM.
- Os usuários podem ajustar modelos com até 13 bilhões de parâmetros em dispositivos móveis, ampliando as capacidades de IA na borda.
Tether announced um novo framework de IA por meio da plataforma QVAC Fabric, permitindo o treinamento cross-platform de BitNet LoRA em dispositivos de consumo. A atualização permite que modelos de bilhões de parâmetros funcionem em smartphones e GPUs. O CEO Paolo Ardoino compartilhou o desenvolvimento, destacando custos reduzidos e maior acesso a ferramentas de IA.
Treinamento de IA entre plataformas amplia o acesso
A atualização do QVAC Fabric introduz suporte entre plataformas para o fine-tuning de BitNet LoRA. Isso permite que modelos de IA sejam executados em diferentes hardware e sistemas operacionais.
Notavelmente, o framework suporta GPUs da AMD, Intel e Apple, incluindo chips móveis. Ele também utiliza backends Vulkan e Metal para compatibilidade.
De acordo com Tether, esta é a primeira vez que o BitNet LoRA funciona em uma gama tão ampla de dispositivos. Como resultado, os usuários podem treinar modelos em hardware cotidiano.
Ganhos de desempenho em hardware de consumo
O sistema reduz as necessidades de memória e computação combinando as técnicas BitNet e LoRA. O BitNet comprime os pesos do modelo em valores simplificados, enquanto o LoRA limita os parâmetros treináveis.
Juntos, esses métodos reduzem significativamente os requisitos de hardware. Por exemplo, a inferência de GPU é de duas a onze vezes mais rápida que a de CPU em dispositivos móveis.
Além disso, o uso de memória cai acentuadamente em comparação com modelos de precisão total. Benchmarkings mostram até 77,8% menos uso de VRAM em comparação com sistemas semelhantes.
A Tether também demonstrou o ajuste fino em smartphones. Os testes mostraram que modelos com 125 milhões de parâmetros foram treinados em minutos em dispositivos como o Samsung S25.
Dispositivos móveis e de borda lidam com modelos maiores
O framework permite que modelos maiores sejam executados em dispositivos de borda. A Tether relatou o ajuste bem-sucedido de modelos com até 13 bilhões de parâmetros no iPhone 16.
Além disso, o sistema suporta GPUs móveis como Adreno, Mali e Apple Bionic. Isso amplia o desenvolvimento de IA além de hardware especializado.
De acordo com Paolo Ardoino, o desenvolvimento de IA muitas vezes depende de infraestrutura cara. Ele disse que esse framework desloca as capacidades para dispositivos locais.
A Tether acrescentou que o sistema reduz a dependência de plataformas centralizadas. Ele também permite que os usuários treinem e processem dados diretamente em seus dispositivos.