PANews, 21 de marzo: según un anuncio oficial, Tether anunció el lanzamiento del marco de ajuste fino BitNet LoRA en QVAC Fabric, optimizando el entrenamiento y la inferencia para Microsoft BitNet (LLM de 1 bit). Este marco reduce significativamente la demanda de potencia de cálculo y memoria, permitiendo que modelos de mil millones de parámetros se entrenen y ajusten finamente en laptops, GPU de consumo y smartphones. Esta solución logra por primera vez el ajuste fino de modelos BitNet en GPU móviles (incluyendo Adreno, Mali y Apple Bionic). Las pruebas muestran que un modelo de 125M parámetros puede ajustarse en aproximadamente 10 minutos, un modelo de 1B en aproximadamente una hora, e incluso se puede escalar hasta modelos de 13B parámetros en dispositivos móviles. Además, el marco es compatible con hardware heterogéneo como Intel, AMD y Apple Silicon, y logra por primera vez el ajuste fino LoRA de LLM de 1 bit en dispositivos no NVIDIA. En términos de rendimiento, la velocidad de inferencia de los modelos BitNet en GPU móviles es de 2 a 11 veces más rápida que en CPU, y el uso de memoria gráfica se reduce hasta un 77.8% en comparación con modelos tradicionales de 16 bits. Tether indicó que esta tecnología tiene el potencial de romper la dependencia de la potencia de cálculo de alto nivel y la infraestructura en la nube, impulsando el entrenamiento de IA hacia la descentralización y la localización, y proporcionando una base para nuevas aplicaciones como el aprendizaje federado.
Tether lanza el marco Cross-Platform BitNet LoRA para el entrenamiento de modelos de mil millones de parámetros en dispositivos de consumo
PANewsCompartir
Resumen
Tether presentó un marco cross-platform BitNet LoRA para noticias en cadena y noticias de criptomonedas, permitiendo el entrenamiento de los modelos BitNet de 1 bit de Microsoft en hardware de consumo. La herramienta permite ejecutar modelos de mil millones de parámetros en laptops, smartphones y GPUs como Adreno, Mali y Apple Bionic. Un modelo de 1 mil millones de parámetros tarda aproximadamente una hora en afinarse. El sistema admite Intel, AMD y Apple Silicon, llevando por primera vez la afinación LoRA de LLM de 1 bit a dispositivos no NVIDIA. Los modelos BitNet funcionan de 2 a 11 veces más rápido en GPUs móviles en comparación con CPUs, utilizando un 77,8% menos de memoria que las versiones de 16 bits. Tether afirma que esta tecnología puede reducir la dependencia de la nube, permitiendo el entrenamiento descentralizado de IA.
Fuente:Mostrar original
Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información.
Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.