ByteDance commence la formation d'un modèle IA de 10 billions de paramètres, approchant l'échelle d'Anthropic

Selon les informations de Beating Monitoring, le Financial Times, citant trois sources informées, affirme que ByteDance a commencé la pré-formation d'un modèle de grande taille pouvant atteindre jusqu'à 10 billions de paramètres. Le projet est encore à un stade précoce et la taille finale n'est pas encore déterminée. Si le modèle est entraîné à sa limite maximale, il dépassera de plus de trois fois le Kimi K3 et deviendra le modèle le plus volumineux connu à ce jour développé par une équipe chinoise. ByteDance pousse directement la taille de ce modèle à proximité du modèle phare d'Anthropic. Anthropic n'a jamais révélé le nombre de paramètres de Mythos 5, mais le Financial Times, citant des estimations du secteur, indique que Mythos 5 aurait environ 8 billions de paramètres et Fable 5 environ 5 billions. Si le nouveau modèle de ByteDance atteint 10 billions, il entrera au moins en termes de taille de paramètres dans la même catégorie que les modèles propriétaires les plus avancés aux États-Unis. Ce modèle est actuellement en phase de pré-formation (entraînement sur d'énormes volumes de données pour développer les capacités fondamentales du modèle). Selon le Financial Times, cette phase dure généralement entre 3 et 6 mois, suivie d'une phase de post-formation avant toute publication, si tout se déroule comme prévu. Un plus grand nombre de paramètres ne signifie pas nécessairement une meilleure performance ; les résultats finaux dépendent également de l'architecture, des données d'entraînement et des méthodes utilisées. Zhang Yiming a récemment clairement rejeté la distillation des modèles concurrents au sein de Seed, exigeant que l'équipe accepte un retard temporaire et se concentre sur le développement interne pour atteindre le premier rang mondial. Ce nouveau modèle pouvant atteindre jusqu'à 10 billions de paramètres représente le pari le plus audacieux de ByteDance en matière de taille à ce jour.