O pré-treinamento levaria apenas 12 dias para ser concluído, mas o aprendizado por reforço do Beam consumiu 10.500 GPUs GB300 por quatro semanas completas. Misha Laskin, co-fundador e CEO da Reflection AI @reflection_ai, desmontou as contas de treinamento do modelo aberto Beam. A empresa, fundada por dois ex-pesquisadores do Google DeepMind antes de 2026, concluiu uma nova rodada de financiamento em abril deste ano com uma avaliação pré-investimento de US$ 250 bilhões. O Beam possui 501 bilhões de parâmetros totais e 23 bilhões de parâmetros ativados; seu pré-treinamento consumiu 23,8 trilhões de tokens, e os pesos foram liberados sob licença Apache 2.0 em 16 de outubro. A alocação de poder computacional entre as duas fases está invertida. O pré-treinamento foi executado em 6.144 GPUs GB300 NVL72 e, segundo ele, com a infraestrutura atual poderia ser concluído em cerca de 12 dias. Já a fase de RL utilizou 10.500 chips do mesmo tipo por quatro semanas consecutivas, o que equivale a aproximadamente 40 mil GB300-weeks — quatro vezes mais que os cerca de 10 mil GB300-weeks gastos no pré-treinamento — e consumiu ainda mais FLOPs.
0xMediaCompartilhar

Fonte:Mostrar original
Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações.
Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.