ByteDance treina modelo de IA com 10 trilhões de parâmetros, visando liderança global

ChainCatcher relata, segundo o Financial Times do Reino Unido, à medida que as empresas chinesas continuam a reduzir a lacuna em relação aos principais laboratórios de inteligência artificial dos EUA, a ByteDance está treinando um modelo de IA cujo tamanho pode se aproximar do sistema mais avançado da Anthropic, o Mythos. Segundo três fontes informadas, a gigante chinesa de tecnologia está atualmente na fase inicial de treinamento de um modelo de escala ultra-grande, com um número de parâmetros potencialmente na ordem de 10 trilhões — cerca de três vezes o maior modelo já lançado na China, o Kimi K3 da Moonshot AI. Uma das fontes informadas afirmou que o modelo da ByteDance está atualmente em fase de pré-treinamento, um estágio que normalmente leva de três a seis meses; se tudo correr conforme planejado, seguir-se-á o ajuste fino e o lançamento. O tamanho exato do modelo será determinado posteriormente. A Anthropic não divulgou publicamente o número de parâmetros de seus modelos, mas estimativas da indústria sugerem que seu modelo mais avançado, o Mythos 5, possui cerca de 8 trilhões de parâmetros, enquanto o Fable 5 tem aproximadamente 5 trilhões. É importante notar que o número de parâmetros determina a capacidade básica de armazenamento ou o limite de memória do modelo, mas a capacidade real do modelo depende também de outros fatores, como a qualidade dos dados e os métodos de treinamento.