Les principaux chercheurs en IA explorent le développement de l'IA piloté par l'IA

Comment faire en sorte que l’IA développe elle-même la prochaine génération d’IA

Auteur et source : le compte WeChat "APPSO"

Si un ingénieur chinois en IA, avec des compétences techniques solides, un parcours impressionnant et issu d'une université de premier plan comme l'Université de Pékin, peut tout faire, il ne peut tout simplement pas ne pas travailler.

Après avoir quitté Thinking Machines Lab en raison de la santé et de la vie personnelle, considérées comme « le plus important alignement », Weng Li a été annoncée comme ayant repris son poste chez OpenAI. Selon un porte-parole de l'entreprise, elle dirigera une équipe visant à accélérer la recherche interne et participera à l'exploration d'OpenAI sur la « récursivité et l'amélioration de soi », c'est-à-dire permettre à l'IA de participer à l'entraînement et à l'amélioration de ses propres modèles de prochaine génération.

Par ailleurs, son ancien collègue Ilya Sutskever, autrefois figure centrale d'OpenAI et fondateur de Safe Superintelligence, vient enfin de laisser entrevoir une brèche dans ses recherches secrètes. Après avoir obtenu un accès rare aux recherches internes, NVIDIA a décidé d'investir dans SSI et d'augmenter sa puissance de calcul d'un ordre de grandeur grâce au nouveau système Vera Rubin.

NVIDIA est convaincue que SSI a poursuivi, au cours des deux dernières années, une nouvelle direction de recherche différente des approches existantes pour les grands modèles. Ilya n'a pas fourni davantage de détails, se contentant de dire : « Nous avons des recherches qui méritent d'être mises à l'échelle. »

La curiosité du public s'est intensifiée, et un article d'analyse inverse des indices publics a fait son apparition sur les réseaux sociaux, suggérant que SSI ne cherchait pas une nouvelle et plus grande recette de pré-entraînement, mais une nouvelle méthode d'itération et d'évolution : permettre au modèle de ne pas rester statique après l'entraînement, mais de s'améliorer continuellement grâce à des retours, des expériences et un apprentissage continu.

Ce jugement n'a pas été confirmé par le SSI, mais il est hautement cohérent avec les positions soutenues par Ilya par le passé. Il a déjà déclaré à plusieurs reprises que l'ère du scaling fondée uniquement sur davantage de données et de puissance de calcul approche ses limites, et que l'IA doit réapprendre à façonner une compréhension plus profonde avec moins d'expériences, tout en continuant à évoluer grâce à ses interactions avec l'environnement.

Ces talents de premier plan déjà très accomplis dans le domaine de l'IA semblent tous regarder dans la même direction : comment faire en sorte que l'IA développe elle-même la prochaine génération d'IA.

Lorsqu'on évoque l'amélioration récursive de soi, on pense facilement à une scène de science-fiction : l'IA prend soudainement conscience de ses défauts, modifie directement les poids du réseau neuronal, et se réveille dix fois plus intelligente qu'hier.

Le point de départ dans le monde réel est bien plus simple. Le développement de l'IA est en soi une chaîne de production cyclique : les chercheurs lisent des articles et des journaux d'expériences, formulent une hypothèse, modifient le code d'entraînement, attendent leur tour pour exécuter des expériences, attendent les résultats, comparent les indicateurs, cherchent les causes d'échec, puis conçoivent la prochaine itération.

Les grands modèles d'aujourd'hui peuvent déjà participer à de nombreux aspects de ce processus : ils peuvent lire des dépôts de code, reproduire des articles scientifiques, écrire des scripts d'expérimentation, appeler des ressources de calcul pour exécuter des tests, organiser des dizaines de jeux de résultats, analyser quel paramètre pourrait être en cause, puis continuer à modifier le code. Ce qui prenait autrefois plusieurs jours à une équipe pour accomplir un cycle pourrait, à l'avenir, être réalisé par plusieurs agents intelligents qui testent en parallèle des dizaines de pistes, avant de soumettre les résultats les plus prometteurs à un jugement humain.

Weng Li a publié en début juillet un long article intitulé « Harness Engineering for Self-Improvement », qui a presque anticipé la direction de recherche qu'elle allait diriger. Elle estime que le chemin le plus réaliste actuel pour l'amélioration personnelle n'est pas la réécriture directe du cerveau par le modèle, mais plutôt d'enseigner à l'IA à modifier d'abord son propre environnement de travail : analyser automatiquement les enregistrements d'échecs, ajuster la gestion du contexte, l'appel aux outils et les flux de travail, puis optimiser ce système à partir de nouveaux résultats expérimentaux. Un harness plus mature peut stimuler la recherche automatisée, tandis que des modèles plus puissants peuvent à leur tour simplifier le harness, créant ainsi une boucle réciproque.

Cela crée un écho intéressant entre les deux approches de Weng Li et Ilya : OpenAI semble progressivement confier son processus de recherche actuel à l’IA, en la faisant d’abord évoluer en tant qu’ingénieur de recherche fonctionnel ; tandis que SSI tente peut-être de trouver de nouveaux paradigmes d’apprentissage à un niveau plus fondamental, afin que le modèle lui-même possède la capacité d’itérer et d’évoluer en continu.

L'IA n'a pas besoin, au départ, d'être capable de modifier directement ses propres poids. Dès qu'elle peut améliorer le processus d'entraînement, filtrer les données, concevoir des évaluations ou optimiser le « harness » entourant le modèle, elle participe déjà à la création de son propre successeur.

Le premier avance depuis le cycle d'ingénierie vers l'intérieur, le second progresse depuis le mécanisme du modèle vers l'extérieur ; les deux visent à réduire la distance entre une génération d'IA et la suivante.

Juste lorsque les grands acteurs souhaitaient accélérer leurs mises sur cette voie, une autre voix a émergé au sein de l'industrie.

Cette semaine, plus de 1 100 professionnels provenant d'entreprises telles qu'OpenAI, Anthropic, Google et Meta ont signé une déclaration demandant la mise en place anticipée de technologies et d'outils de coordination pour contrôler la vitesse du « développement automatisé de l'IA ». Parmi les participants figurent des chercheurs de haut niveau, notamment Jakub Pachocki, scientifique en chef d'OpenAI, Jack Clark et Jared Kaplan, cofondateurs d'Anthropic, ainsi qu'Ilya lui-même.

La pétition ne demande pas d'arrêter la recherche sur l'IA, ni de nier la valeur potentielle de l'amélioration de soi. Elle exprime une préoccupation quant au fait que, dès que l'IA commencera à accélérer significativement le développement de l'IA, la croissance des capacités pourrait dépasser la vitesse à laquelle les humains peuvent comprendre et contrôler les systèmes.

En y réfléchissant bien, ce « paradoxe apparent » de va-et-vient provient du même groupe de personnes, voire de la même personne. Au même moment, ils peuvent émettre deux jugements opposés : ils croient à la fois que l’étude automatisée pourrait être la clé de la prochaine avancée de l’IA, et qu’une fois que ce circuit de rétroaction fonctionnera réellement, l’industrie devra posséder la capacité de ralentir si nécessaire.

Une fois ce cycle établi, il ne ressemble plus à l'approche passée consistant à publier un modèle plus puissant. La vitesse des progrès passés était finalement limitée par les équipes de recherche humaines. Les humains doivent poser les questions, organiser les expériences, interpréter les résultats, et les progrès peuvent s'arrêter en raison de contraintes budgétaires, de ressources humaines ou de processus organisationnels.

L'objectif du développement automatisé de l'IA est précisément de supprimer progressivement ces goulets d'étranglement. Plus le modèle est puissant, plus il aide l'équipe à créer plus rapidement le modèle suivant ; ce dernier devient à son tour un meilleur chercheur, réduisant encore davantage le temps de la prochaine phase de développement.

Ainsi, malgré ces deux forces apparemment contradictoires, elles partagent une même prémisse : le développement automatisé par l'IA passe de l'idée lointaine à un objectif d'ingénierie concret.

Weng Jing revient à OpenAI, ce qui indique que l'amélioration récursive auto-entretenue a commencé à obtenir une organisation et des responsables spécialisés ; le fait que NVIDIA soit disposée à investir des fonds considérables et ses dernières capacités de calcul après avoir examiné les recherches secrètes de SSI montre que la nouvelle voie d'apprentissage est au moins arrivée à un stade méritant une validation élargie.

Les pétitionnaires demandent de préparer un frein, non pas parce qu'ils pensent que ce projet ne réussira pas, mais précisément parce qu'ils commencent à envisager sérieusement ce qui se passera une fois qu'il réussira.

La véritable divergence ne porte pas sur le fait que l’IA devrait ou non aider les humains dans leurs recherches. La génération de code, la recherche de publications et l’automatisation des expériences sont déjà entrées dans les laboratoires. La question est plutôt : à quels moments les humains doivent-ils conserver le pouvoir de décision lorsque l’IA passe d’un outil améliorant l’efficacité des chercheurs à un système capable de proposer des solutions, d’exécuter des expériences, d’évaluer les résultats et d’ajuster les processus pour le cycle suivant.

Cela soulève une série de questions à discuter : qui définit les objectifs d'optimisation ? Qui détermine si une modification apparemment améliorant le score compromet les limites de sécurité ? Lorsque plusieurs laboratoires sont en concurrence, laquelle des entreprises acceptera de suspendre seule une itération efficace ? Si le cycle de développement du modèle est réduit de un an à quelques mois ou semaines, les évaluations externes et les équipes de sécurité internes pourront-elles encore suivre ?

Les entreprises d'IA ne se battent plus seulement pour créer des modèles à succès, elles se disputent un système de recherche et développement capable de produire en continu des modèles plus puissants.

D’un côté, des chercheurs de premier plan comme Ilya et Weng Li cherchent de nouvelles façons d’itérer pour permettre à l’IA de participer à son propre évolution ; de l’autre, des milliers de chercheurs du même secteur exigent la préparation préalable d’un mécanisme de ralentissement. Entre ces deux positions, les camps évoluent constamment, et les attitudes ne sont pas opposées. Tous font face à un défi commun : lorsque les outils de recherche accélèrent la recherche elle-même, qui peut décider quand la prochaine génération d’IA devrait arriver ?