Amazon lança o TorchNeuron para desafiar a dominância de software de IA da Nvidia

A Amazon Web Services lançou o TorchNeuron na segunda-feira para ajudar startups de IA a migrar aplicações para os chips Trainium da Amazon. A ferramenta desafia a vantagem de software que ajudou a tornar a Nvidia a escolha padrão de hardware para aplicações de IA. A Amazon afirma que o TorchNeuron permite que aplicações escritas com PyTorch sejam executadas no Trainium alterando apenas uma linha de configuração, sem reescrever o código.

PyTorch é uma ferramenta gratuita e de código aberto para construir, treinar e executar modelos de IA. A Amazon afirma que cerca de 85% das aplicações de IA são escritas com PyTorch. O Facebook originalmente desenvolveu o PyTorch, que faz parte da Linux Foundation desde 2022. A Linux Foundation mantém projetos de código aberto. A Nvidia passou anos garantindo que o CUDA, a infraestrutura de software para executar aplicações em hardware Nvidia, suporte perfeitamente aplicações PyTorch. O hardware da Nvidia tornou-se, consequentemente, profundamente integrado ao PyTorch, essencialmente por padrão.

TorchNeuron é adaptado do PyTorch, então desenvolvedores familiarizados com o PyTorch já sabem como usá-lo. Usuários do PyTorch também podem migrar aplicativos para GPUs da AMD ou chips da Apple com uma simples alteração de configuração. No entanto, a Amazon argumenta que migrar para Trainium também oferece às startups de IA acesso a toda a nuvem da Amazon. A AWS afirma que a AWS é uma escolha melhor para startups do que provedores de nuvem especializados, como Coreweave, Nebius e Firmus, que são vinculados a hardware da Nvidia.

Colin Brace é vice-presidente de Software de Tecnologia na AWS Annapurna Labs, a unidade que desenvolve os chips personalizados da Amazon. Brace afirmou que a AWS já fornece a infraestrutura necessária aos fundadores para passar de protótipos à produção e expandir operações quando necessário. A AWS afirma que o Trainium realiza tanto o treinamento do modelo quanto a inferência, quando modelos finalizados executam tarefas como responder perguntas dos usuários. A AWS argumenta que usar o mesmo chip para ambas as tarefas, integrado de forma apertada à infraestrutura em nuvem, economizará dinheiro para startups, mesmo sem ser o mais barato por token. Brace disse que o Trainium reduz custos em toda a carga de trabalho por meio de desempenho por preço e uma única plataforma para treinamento e inferência. Brace afirmou que a Deepgram migrou para o Trainium utilizando suporte nativo ao PyTorch e processa 70% mais áudio por dólar com precisão de nível de produção. A Deepgram fornece aplicações de voz baseadas em IA e concorre com a ElevenLabs.

A Amazon diz que a empresa também está trabalhando para tornar o PyTorch menos automaticamente centrado na Nvidia. A Amazon afirma que contribuirá com código para o projeto principal do PyTorch para apoiar esse esforço. O anúncio da Amazon afirma que a empresa está trabalhando com a comunidade PyTorch para remover código que vincula o framework a chips específicos. A Amazon diz que o objetivo é tornar o PyTorch menos dependente de hardware específico para todos os desenvolvedores, não apenas para usuários do Trainium.

O esforço beneficia provedores de hardware e nuvem que competem com a Nvidia. No entanto, o PyTorch tem como objetivo parcial proteger os desenvolvedores das dificuldades de executar código de IA em hardware. Reduzir a dependência do PyTorch da Nvidia poderia oferecer mais escolha e opções mais acessíveis, conforme prometido pela Amazon, ou criar mais dificuldades de configuração. Separar com sucesso o PyTorch da Nvidia poderia ter consequências maiores para a Nvidia do que a concorrência de outros fabricantes de chips sozinhos. Brace caracterizou o esforço como removendo restrições que haviam impedido os desenvolvedores de terem uma escolha real.