Amazon Web Services lanzó TorchNeuron el lunes para ayudar a las startups de IA a migrar aplicaciones a los chips Trainium de Amazon. La herramienta desafía la ventaja software que ha ayudado a convertir a Nvidia en la opción de hardware predeterminada para aplicaciones de IA. Amazon afirma que TorchNeuron permite que las aplicaciones escritas con PyTorch se ejecuten en Trainium cambiando solo una línea de configuración, sin reescribir el código.
PyTorch es un kit de herramientas gratuito y de código abierto para construir, entrenar y ejecutar modelos de IA. Amazon afirma que aproximadamente el 85% de las aplicaciones de IA se escriben con PyTorch. Facebook desarrolló originalmente PyTorch, que forma parte de la Linux Foundation desde 2022. La Linux Foundation mantiene proyectos de código abierto. Nvidia ha invertido años asegurando que CUDA, la infraestructura de software para ejecutar aplicaciones en hardware de Nvidia, admita sin problemas las aplicaciones de PyTorch. Como consecuencia, el hardware de Nvidia se ha integrado profundamente en PyTorch, prácticamente por defecto.
TorchNeuron se adapta desde PyTorch, por lo que los desarrolladores familiarizados con PyTorch ya saben cómo usar TorchNeuron. Los usuarios de PyTorch también pueden migrar aplicaciones a GPUs de AMD o chips de Apple con un simple cambio de configuración. Sin embargo, Amazon argumenta que migrar a Trainium también brinda a las startups de IA acceso a toda la nube de Amazon. AWS afirma que AWS es una mejor opción para startups que proveedores de nube especializados como Coreweave, Nebius y Firmus, que están vinculados a hardware de Nvidia.
Colin Brace es vicepresidente de Software de Tecnología en AWS Annapurna Labs, la unidad que desarrolla los chips personalizados de Amazon. Brace dijo que AWS ya proporciona la infraestructura que los fundadores necesitan para pasar de prototipos a producción y ampliar operaciones cuando sea necesario. AWS afirma que Trainium maneja tanto el entrenamiento del modelo como la inferencia, cuando los modelos terminados realizan tareas como responder preguntas de los usuarios. AWS argumenta que usar el mismo chip para ambas tareas, íntegramente integrado con la infraestructura en la nube, ahorrará dinero a las startups incluso sin ser el más barato por token. Brace dijo que Trainium mejora los costos en toda la carga de trabajo mediante relación precio-rendimiento y una única plataforma para entrenamiento e inferencia. Brace mencionó que Deepgram migró a Trainium utilizando el soporte nativo de PyTorch y procesa un 70 % más de audio por dólar con precisión de nivel productivo. Deepgram ofrece aplicaciones de voz con IA y compite con ElevenLabs.
Amazon dice que la empresa también está trabajando para hacer que PyTorch sea menos automáticamente centrado en Nvidia. Amazon dice que contribuirá con código al proyecto principal de PyTorch para apoyar ese esfuerzo. El anuncio de Amazon indica que la empresa está trabajando con la comunidad de PyTorch para eliminar el código que vincula el marco a chips específicos. Amazon dice que el objetivo es hacer que PyTorch sea menos dependiente de hardware particular para todos los desarrolladores, no solo para los usuarios de Trainium.
El esfuerzo beneficia a proveedores de hardware y nube que compiten con Nvidia. Sin embargo, PyTorch está parcialmente diseñado para proteger a los desarrolladores de las dificultades de ejecutar código de IA en hardware. Reducir la dependencia de PyTorch de Nvidia podría ofrecer más opciones y opciones más asequibles, como promete Amazon, o crear más dificultades de configuración. Separar con éxito PyTorch de Nvidia podría tener consecuencias mayores para Nvidia que la competencia de otros fabricantes de chips por sí sola. Brace caracterizó el esfuerzo como la eliminación de restricciones que habían impedido a los desarrolladores tener una verdadera elección.
Amazon lanza TorchNeuron para desafiar el dominio del software de IA de Nvidia
FLASH AICompartir
Resumen
Amazon ha lanzado TorchNeuron, una nueva herramienta para desarrolladores de IA que permite ejecutar aplicaciones PyTorch en chips AWS Trainium con cambios mínimos en el código. La herramienta reduce la dependencia de PyTorch del software CUDA de Nvidia. AWS afirma que los desarrolladores pueden cambiar a Trainium con una sola línea de configuración. La empresa también contribuirá con código a PyTorch para hacerlo menos dependiente del hardware. Las startups que utilizan Trainium para entrenamiento e inferencia pueden reducir costos. Deepgram reportó un aumento del 70% en el procesamiento de audio por dólar tras el cambio. Esta noticia de IA + cripto destaca el impulso de AWS hacia las noticias en cadena y la infraestructura de IA.
Fuente:Mostrar original
Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información.
Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.