ByteDance entrena un modelo de IA de 10 billones de parámetros, con el objetivo de liderar globalmente

ChainCatcher informa, según el Financial Times del Reino Unido, mientras las empresas chinas continúan reduciendo la brecha con los principales laboratorios de inteligencia artificial de Estados Unidos, ByteDance está entrenando un modelo de IA cuyo tamaño podría acercarse al sistema más avanzado de Anthropic, Mythos. Según tres fuentes informadas, este gigante tecnológico chino se encuentra actualmente en las etapas iniciales del entrenamiento de un modelo de escala ultramasiva, con un número de parámetros que podría alcanzar la categoría de 10 billones, aproximadamente tres veces el tamaño del modelo Kimi K3 de Moonshot AI, el modelo más grande lanzado hasta ahora en China. Una de las fuentes informadas indicó que el modelo de ByteDance actualmente se encuentra en la fase de preentrenamiento, que generalmente requiere de tres a seis meses; si todo avanza según lo planeado, seguirá una fase de ajuste fino y luego su lanzamiento. El tamaño exacto del modelo se determinará más adelante. Anthropic no ha revelado públicamente el número de parámetros de sus modelos, pero las estimaciones del sector sugieren que su modelo más avanzado, Mythos 5, tiene aproximadamente 8 billones de parámetros, mientras que Fable 5 tiene alrededor de 5 billones. Cabe destacar que el número de parámetros determina la capacidad básica de almacenamiento o el límite de memoria del modelo, pero su capacidad real depende también de otros factores, como la calidad de los datos y el método de entrenamiento.