Zhang Yiming de Bytedance privilégie les objectifs à long terme au détriment des raccourcis dans le développement des grands modèles

Selon les informations de Beating, le fondateur de ByteDance, Zhang Yiming, a clairement déclaré lors de la réunion d'équipe complète de Seed le mois dernier que l'entreprise ne considérerait pas la distillation comme un raccourci pour rattraper les grands modèles, même si cela entraînait un retard temporaire par rapport aux concurrents nationaux. Il a demandé à l'équipe d'être prête à sacrifier des bénéfices à court terme pour atteindre des objectifs à long terme. La distillation consiste à faire apprendre à un nouveau modèle les sorties d'un modèle plus puissant, ce qui permet de réduire le temps et les ressources informatiques nécessaires à l'entraînement. Au sein de ByteDance, on estime que ne pas emprunter cette voie rendra plus difficile, à court terme, pour le modèle linguistique de Seed de rattraper des concurrents nationaux tels que DeepSeek, Kimi et Qwen. Toutefois, ByteDance est davantage préoccupé par les risques politiques. L'entreprise a longtemps été soumise à des examens du gouvernement américain en raison de TikTok. Bien que l'activité américaine de sécurité des données de TikTok ait intégré des capitaux américains, ByteDance conserve toujours des actions et continue d'exploiter les activités commerciales mondiales de TikTok. Une accusation de prélèvement à grande échelle des capacités des modèles avancés américains pourrait pousser Washington à réimposer une pression sur TikTok. Anthropic a précédemment accusé DeepSeek, Lunar Shadow, MiniMax, Zhipu et Alibaba de tirer massivement parti des capacités de Claude, sans citer explicitement ByteDance.