Notícia rápida da Beating AI: o Groq 3 LPX da NVIDIA já entrou em produção em larga escala. Em dezembro do ano passado, a NVIDIA adquiriu a licença da tecnologia da Groq por cerca de US$ 20 bilhões e recrutou a equipe-chave, incluindo o fundador Jonathan Ross. Oito meses depois, o primeiro hardware resultante dessa transação foi lançado oficialmente. O Groq 3 LPX é um sistema projetado especificamente para acelerar a inferência de grandes modelos, contendo 256 chips Groq 3 LPU. Nos testes da Artificial Analysis, após a entrada de 100.000 tokens no Gemma 4 31B, o Groq 3 LPX alcançou 3.431 tokens de saída por segundo. No mesmo teste, a API mais rápida disponível publicamente no mercado na época conseguia apenas cerca de 870 tokens, ou seja, o Groq 3 LPX é quase quatro vezes mais rápido. Em implementações reais, os GPUs Rubin lidam com cálculos mais pesados, enquanto o Groq 3 LPX se concentra exclusivamente em aumentar a velocidade de geração de tokens. Para agentes de codificação, que realizam dezenas ou centenas de chamadas consecutivas ao modelo, isso reduz significativamente o tempo de espera pela "saída" do modelo. A Nebius será a primeira provedora de nuvem AI a adotar o Groq 3 LPX. Mais interessante ainda: a própria Groq também se tornou uma das primeiras usuárias e planeja implantá-lo em conjunto com a Dell. No ano passado, licenciou sua tecnologia para a NVIDIA; este ano, está começando a usar o "Groq" feito pela NVIDIA.
O acordo de US$ 2 bilhões da NVIDIA com a Groq produz resultados à medida que os chips Groq 3 LPX entram em produção em massa
MarsBitCompartilhar
Notícias de criptomoedas: os chips Groq 3 LPX da NVIDIA entraram em produção em massa total. Em dezembro passado, a empresa adquiriu a tecnologia da Groq por US$ 2 bilhões e contratou equipe-chave, incluindo o fundador Jonathan Ross. Oito meses depois, o primeiro produto foi lançado. O sistema Groq 3 LPX, projetado para inferência de modelos grandes, utiliza 256 chips Groq 3 LPU. Em testes, alcançou 3.431 tokens de saída por segundo para o Gemma 2 31B após 100.000 tokens de entrada—quase quatro vezes mais rápido que a melhor API pública. A Nebius será o primeiro provedor de nuvem de IA a usar o Groq 3 LPX, com a Groq e a Dell também implementando-o. Esta notícia de criptomoedas marca um passo importante na aceleração de IA.
Fonte:Mostrar original
Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações.
Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.