ByteDance começa a treinar modelo de IA com 10 trilhões de parâmetros, aproximando-se da escala da Anthropic

De acordo com o Beating Monitor, o Financial Times, citando três fontes informadas, afirmou que o ByteDance já começou a pré-treinar um modelo grande com até 10 trilhões de parâmetros. O projeto ainda está em estágio inicial e o tamanho final ainda não foi determinado. Se treinado no limite máximo, ele superará em mais de três vezes o Kimi K3, tornando-se o modelo com o maior número de parâmetros já conhecido entre equipes chinesas. Nesta ocasião, o ByteDance elevou diretamente o tamanho do modelo para perto do modelo principal da Anthropic. A Anthropic nunca divulgou o número de parâmetros do Mythos 5, mas o Financial Times citou estimativas da indústria indicando que o Mythos 5 possui cerca de 8 trilhões de parâmetros e o Fable 5, cerca de 5 trilhões. Se o novo modelo do ByteDance atingir 10 trilhões, pelo menos em termos de escala de parâmetros, já entrará na mesma faixa dos modelos fechados mais avançados dos EUA. Este modelo ainda está na fase de pré-treinamento (treinamento da capacidade básica do modelo com grandes volumes de dados). O Financial Times afirmou que esta fase geralmente leva de 3 a 6 meses, seguida por treinamento pós, e apenas após sucesso será lançado. Mais parâmetros não significam necessariamente desempenho superior; o desempenho final dependerá da arquitetura, dos dados de treinamento e dos métodos utilizados. Zhang Yiming recentemente rejeitou claramente dentro da Seed a prática de distilar modelos de concorrentes, exigindo que a equipe aceite atrasos temporários e busque alcançar o topo mundial por meio de desenvolvimento próprio. Este novo modelo, com até 10 trilhões de parâmetros, representa a aposta mais ousada do ByteDance em escala até agora.