A Nvidia anunciou oficialmente a produção em massa do sistema de rack Groq 3 LPX, levando ao mercado comercial os hardwares de inferência adquiridos, tornando-se o assunto mais quente do setor de hardware de IA e deslocando o foco da indústria da treinagem de grandes modelos para a capacidade de inferência de baixa latência em cenários de Agentes. Este hardware faz parte da pilha tecnológica Vera Rubin, destacando-se por velocidades extremamente rápidas de saída de tokens. Em cenários com contextos longos de até 100 mil tokens, é capaz de produzir milhares de tokens por segundo. Dados de testes oficiais mostram que, em certos cenários, o custo de computação pode ser reduzido até 35 vezes em comparação com a geração anterior, sendo especificamente projetado para aplicações altamente sensíveis à latência, como agentes de IA e execução automática de programas. Muitos projetos de Agentes anteriormente não eram viáveis comercialmente, principalmente devido à alta latência de inferência — os usuários tinham que esperar longos períodos para que modelos concluíssem tarefas em múltiplos passos, dificultando a adoção prática. O primeiro provedor de nuvem a adotar este rack já o implementou, e futuramente provedores de serviços em nuvem poderão oferecer pacotes API avançados de baixa latência baseados nisso, atendendo clientes corporativos com altas exigências de velocidade. No entanto, isso também reescreverá o modelo de negócios da IA na nuvem: futuramente, os serviços de IA não serão mais avaliados apenas pelo tamanho dos parâmetros do modelo; o desempenho de inferência em hardware se tornará um ponto competitivo crucial para todos os fornecedores de nuvem. Esta produção em massa também transmite uma importante mensagem industrial: o próximo campo de batalha da IA já não está na busca por modelos de treinamento com parâmetros ainda maiores, mas sim em como executar modelos grandes já existentes com menor custo e maior velocidade. A barreira para a comercialização de Agentes está sendo progressivamente derrubada pelo hardware, e em breve veremos mais aplicações de agentes automatizados que antes existiam apenas em laboratórios entrando em ambientes comerciais reais. #Nvidia #AI_Hardware #Agent