La division de recherche en IA de ByteDance, Seed, applique depuis le premier jour une règle simple mais inhabituelle : pas de distillation de connaissance. Dans un domaine où copier le comportement de modèles plus puissants est pratiquement un rite de passage, la société mère de TikTok choisit le chemin le plus difficile.
Les positions de décision distinguent ByteDance d’un nombre élevé de laboratoires chinois d’IA qui ont ouvertement ou discrètement distillé des capacités à partir de modèles plus grands, dont beaucoup ont été développés par des entreprises américaines comme OpenAI et Anthropic.
Ce que la distillation signifie réellement, et pourquoi la sauter est important
La distillation de connaissance est essentiellement une formation d'apprenti en IA. Un modèle plus petit et moins coûteux apprend à reproduire les sorties d'un modèle plus grand et plus puissant. Le résultat est un modèle compact qui dépasse ses performances, formé à une fraction du coût.
La technique s'est répandue dans l'écosystème chinois de l'IA. Lorsque le modèle R1 de DeepSeek a fait la une lors du débat plus large sur la distillation, elle a mis en lumière la manière dont les laboratoires chinois exploitent les résultats des modèles américains de pointe pour accélérer leur propre développement. OpenAI et Anthropic ont tous deux exprimé des préoccupations concernant cette pratique, et les discussions visant à renforcer les conditions d'utilisation pour l'empêcher n'ont fait que s'intensifier.
En refusant de distiller, Seed construit ses modèles à partir de zéro en utilisant des pipelines propriétaires de collecte, de synthèse et de nettoyage de données.
Le calcul stratégique derrière l'indépendance
Un employé de ByteDance a exprimé clairement l'ambition : « L'objectif de ByteDance pour presque tous ses modèles est d'atteindre le niveau mondial supérieur, voire les normes de pointe. »
Le laboratoire a déjà lancé des runs sur le tableau. Seedance, le modèle de génération vidéo de ByteDance, a été développé dans le cadre de cette approche sans distillation. Le modèle alimente des fonctionnalités au sein des produits grand public de ByteDance, notamment Doubao, l'assistant IA conversationnelle de l'entreprise, et CapCut, son outil d'édition vidéo largement utilisé.
Géopolitique comme avantage concurrentiel
La rivalité technologique entre les États-Unis et la Chine a transformé le développement de l'IA en quelque chose qui ressemble à une course aux armements, avec des contrôles à l'exportation, des restrictions sur les puces et des rhétoriques de plus en plus tendues sur le transfert de technologie. Dans cet environnement, toute entreprise chinoise d'IA qui s'appuie sur la distillation de modèles américains supporte une responsabilité géopolitique sur son bilan.
Le débat sur la distillation a impliqué pratiquement tous les principaux acteurs du domaine de l’IA. OpenAI a publiquement exprimé des préoccupations concernant l’utilisation de ses modèles pour former des concurrents. Anthropic s’est prononcé sur les implications éthiques et concurrentielles. Dans ce contexte, la décision préventive de ByteDance d’éviter complètement la distillation semble moins une retenue auto-imposée qu’un pari sur le fait que le développement indépendant produira finalement une technologie supérieure et plus défendable.