- Le framework BitNet LoRA de Tether permet l'entraînement de modèles d'IA sur des smartphones, des GPU et des appareils grand public.
- Le système réduit l'utilisation de la mémoire et améliore les performances, avec jusqu'à 77,8 % de réduction des exigences en VRAM.
- Les utilisateurs peuvent affiner des modèles jusqu'à 13 milliards de paramètres sur des appareils mobiles, élargissant les capacités de l'IA en périphérie.
Tether announced un nouveau cadre d'IA via sa plateforme QVAC Fabric, permettant l'entraînement BitNet LoRA cross-plateforme sur des appareils grand public. Cette mise à jour permet d'exécuter des modèles de milliards de paramètres sur des smartphones et des GPU. Le PDG Paolo Ardoino a partagé ce développement, en soulignant la réduction des coûts et un accès plus large aux outils d'IA.
La formation AI multiplateforme élargit l'accès
La mise à jour QVAC Fabric introduit la prise en charge multi-plateformes pour le fine-tuning BitNet LoRA. Cela permet aux modèles d'IA de fonctionner sur différents matériels et systèmes d'exploitation.
Notamment, le cadre prend en charge les GPU d'AMD, d'Intel et d'Apple, y compris les puces mobiles. Il utilise également les backends Vulkan et Metal pour la compatibilité.
Selon Tether, il s'agit de la première fois que BitNet LoRA fonctionne sur une telle gamme d'appareils. Les utilisateurs peuvent ainsi entraîner des modèles sur du matériel quotidien.
Améliorations de performance sur le matériel grand public
Le système réduit les besoins en mémoire et en calcul en combinant les techniques BitNet et LoRA. BitNet compresse les poids du modèle en valeurs simplifiées, tandis que LoRA limite les paramètres entraînables.
Ensemble, ces méthodes réduisent considérablement les exigences matérielles. Par exemple, l'inférence GPU est deux à onze fois plus rapide que le CPU sur les appareils mobiles.
De plus, l'utilisation de la mémoire diminue fortement par rapport aux modèles à précision complète. Les benchmarks montrent jusqu'à 77,8 % de moins d'utilisation de VRAM que les systèmes comparables.
Tether a également démontré un raffinement sur les smartphones. Les tests ont montré que des modèles de 125 millions de paramètres peuvent être entraînés en quelques minutes sur des appareils comme le Samsung S25.
Les appareils mobiles et de périphérie gèrent des modèles plus volumineux
Le cadre permet d'exécuter des modèles plus volumineux sur des appareils périphériques. Tether a annoncé un ajustement réussi de modèles jusqu'à 13 milliards de paramètres sur iPhone 16.
De plus, le système prend en charge les GPU mobiles tels qu'Adreno, Mali et Apple Bionic. Cela élargit le développement de l'IA au-delà du matériel spécialisé.
Selon Paolo Ardoino, le développement de l'IA dépend souvent d'une infrastructure coûteuse. Il a déclaré que ce cadre déplace les capacités vers les appareils locaux.
Tether a ajouté que le système réduit la dépendance aux plateformes centralisées. Il permet également aux utilisateurs d'entraîner et de traiter les données directement sur leurs appareils.