Según informes de Beating Monitoring, el Financial Times citó a tres fuentes informadas que afirman que ByteDance ha comenzado la preentrenamiento de un modelo de gran escala con hasta 10 billones de parámetros. El proyecto aún se encuentra en una etapa temprana y el tamaño final no ha sido determinado. Si se entrena hasta el límite superior, superará en más del triple al modelo Kimi K3 y se convertirá en el modelo con el mayor número de parámetros conocido hasta la fecha desarrollado por un equipo chino. ByteDance está impulsando directamente el tamaño de este modelo cerca del nivel del modelo insignia de Anthropic. Anthropic nunca ha revelado el número de parámetros de Mythos 5, pero el Financial Times citó estimaciones de la industria que sugieren que Mythos 5 tiene aproximadamente 8 billones de parámetros y Fable 5 alrededor de 5 billones. Si el nuevo modelo de ByteDance alcanza los 10 billones, al menos en términos de escala de parámetros, ya entra en la misma categoría que los modelos cerrados más avanzados de Estados Unidos. Actualmente, este modelo aún se encuentra en la fase de preentrenamiento (entrenamiento con grandes volúmenes de datos para desarrollar las capacidades básicas del modelo). El Financial Times indicó que esta fase generalmente requiere entre 3 y 6 meses, tras los cuales se necesitará un entrenamiento posterior antes de su lanzamiento, siempre que todo avance sin contratiempos. Un mayor número de parámetros no implica necesariamente un rendimiento superior; el desempeño final dependerá de la arquitectura, los datos de entrenamiento y los métodos utilizados. Recientemente, Zhang Yiming expresó claramente en Seed su oposición a la destilación de modelos de competidores y exigió al equipo aceptar un retraso temporal para impulsar el liderazgo mundial mediante el desarrollo propio. Este nuevo modelo, con hasta 10 billones de parámetros, representa la apuesta más agresiva hasta la fecha de ByteDance en términos de escala.
ByteDance comienza a entrenar un modelo de IA de 10 billones de parámetros, acercándose a la escala de Anthropic
MarsBitCompartir
Resumen
ByteDance ha comenzado la pre-entrenamiento de un modelo de IA masivo con hasta 10 billones de parámetros, según informes en noticias de IA + cripto. El modelo, si se completa en el límite superior, superaría al Kimi K3 en más de tres veces y competiría con el Mythos 5 de Anthropic, supuestamente de 8 billones de parámetros. La fase de pre-entrenamiento se espera que dure de 3 a 6 meses, seguida de entrenamiento adicional. El CEO Zhang Yiming ha impulsado la investigación interna, con el objetivo de competir en la carrera global de IA. Los medios de noticias cripto destacan este movimiento como un desarrollo importante en el sector tecnológico.
Fuente:Mostrar original
Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información.
Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.