PANews, 21 mars : Selon un communiqué officiel, Tether a lancé un cadre de micro-ajustement LoRA cross-platform BitNet dans QVAC Fabric, optimisant l'entraînement et l'inférence du modèle Microsoft BitNet (LLM à 1 bit). Ce cadre réduit considérablement les besoins en puissance de calcul et en mémoire, permettant l'entraînement et le micro-ajustement de modèles de taille milliard de paramètres sur des ordinateurs portables, des GPU grand public et des smartphones. Cette solution réalise pour la première fois le micro-ajustement de modèles BitNet sur des GPU mobiles (y compris Adreno, Mali et Apple Bionic). Les tests montrent qu'un modèle de 125 M de paramètres peut être micro-ajusté en environ 10 minutes, un modèle de 1 G en environ une heure, et même étendu jusqu'à 13 G de paramètres sur smartphone. De plus, ce cadre prend en charge des matériels hétérogènes tels qu'Intel, AMD et Apple Silicon, et réalise pour la première fois un micro-ajustement LoRA de LLM à 1 bit sur des appareils non NVIDIA. En termes de performance, la vitesse d'inférence des modèles BitNet sur GPU mobile est supérieure de 2 à 11 fois à celle du CPU, tout en réduisant la consommation de mémoire vidéo de jusqu'à 77,8 % par rapport aux modèles traditionnels à 16 bits. Tether indique que cette technologie pourrait briser la dépendance aux infrastructures hautement performantes et au cloud, favorisant le développement d'une entraînement IA décentralisé et localisé, tout en fournissant une base pour de nouvelles applications telles que l'apprentissage fédéré.
Tether lance le cadre BitNet LoRA multiplateforme pour l'entraînement de modèles à milliards de paramètres sur des appareils grand public
PANewsPartager
Résumé
Tether a dévoilé un cadre BitNet LoRA multiplateforme pour les actualités sur chaîne et les nouvelles crypto, permettant l'entraînement des modèles 1-bit BitNet de Microsoft sur du matériel grand public. L'outil permet d'exécuter des modèles de milliards de paramètres sur des ordinateurs portables, des smartphones et des GPU comme Adreno, Mali et Apple Bionic. Un modèle d'un milliard de paramètres prend environ une heure pour être affiné. Le système prend en charge Intel, AMD et Apple Silicon, apportant pour la première fois l'ajustement LoRA 1-bit aux appareils non NVIDIA. Les modèles BitNet fonctionnent 2 à 11 fois plus vite sur les GPU mobiles que sur les CPU, en utilisant 77,8 % moins de mémoire que les versions 16-bit. Tether affirme que cette technologie peut réduire la dépendance au cloud, permettant un entraînement décentralisé de l'IA.
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations.
Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.