Le scientifique en chef d'OpenAI met en garde contre la complexité croissante de l'IA et les défis d'alignement

Auteur : Jakub Pachocki

Traduction : Deep潮 TechFlow

Lecture approfondie de Shenchao : Le scientifique en chef d'OpenAI s'exprime rarement et affirme directement que l'IA se rapproche de l'amélioration récursive de soi, et que les outils d'alignement et de surveillance ne suivent plus le rythme de l'évolution du système. Il ne propose pas de conclusions rassurantes, mais met en lumière les risques les plus complexes des prochaines années : l'humanité pourrait être en train de créer une forme de conscience qu'elle ne comprend pas entièrement ni ne contrôle pleinement. Pour les professionnels intéressés par l'intersection entre l'IA et la cryptomonnaie, cet article est indispensable pour comprendre la perte de contrôle des systèmes et les limites de la défense.

À un niveau plus élevé, les progrès de l'intelligence artificielle sont alimentés par la croissance de la puissance de calcul. Vers 2017, nous avons profondément compris cela au sein d'OpenAI. À cette époque, nous avons observé que plusieurs projets de recherche obtenaient des retours continus lorsqu'ils étaient élargis. Nous avons donc commencé à chercher à obtenir bien plus de puissance de calcul que prévu, et nous avons de plus en plus concentré nos recherches sur quelques domaines particulièrement évolutifs. Nous croyons que c'est la seule manière de nous placer à la pointe de la recherche en IA et d'influencer l'impact de l'AGI.

De nouveaux algorithmes ont émergé, ainsi que des idées ingénieuses provenant d'équipes et de chercheurs individuels. Je considère globalement ces avancées comme des découvertes sur le chemin de l'extension. La science de l'apprentissage profond reste à un stade précoce, et les progrès algorithmiques significatifs sont souvent étroitement liés à l'accès à la puissance de calcul. Si vous élargissez votre perspective sur plusieurs années, l'IA devient continuellement plus intelligente grâce à son extension sur des ordinateurs de plus en plus puissants.

De plus, comme l'avait prédit Ray Kurzweil à la fin du XXe siècle, nous sommes actuellement à un moment de l'histoire de l'informatique où l'intelligence artificielle commence à dépasser l'humain à un niveau transformateur.

L'IA ressemble davantage à quelque chose qui « pousse » qu'à quelque chose qui est conçu. D'un point de vue fondamental, elle est le produit d'une simple étape d'optimisation répétée des millions de fois sur une puissance de calcul inimaginable. Cela a créé un système extrêmement complexe qui fonctionne à travers des concepts abstraits et peut simuler certains aspects du comportement humain. Nous pouvons découvrir des insights sur les divers mécanismes émergents à l'intérieur de ce système, un processus similaire à la neuroscience. Et comme en neuroscience, son comportement global dépasse notre capacité à le comprendre entièrement.

La recherche sur les IA basées sur l'apprentissage profond est, dans une large mesure, une science expérimentale. Nous investissons beaucoup d'efforts pour développer des algorithmes fondés sur des principes et formuler des prédictions testables. Mais fondamentalement, nos entraînements à grande échelle sont des expériences, et les résultats peuvent parfois nous surprendre. De plus, à mesure que les capacités des systèmes augmentent, les résultats deviennent de plus en plus difficiles à interpréter.

Plus complexe encore, les algorithmes actuels tendent à faire progresser plus rapidement les capacités faciles à mesurer que celles difficiles à quantifier objectivement. Nous avons passé beaucoup de temps à essayer de comprendre comment les capacités se généralisent, ainsi que quelles compétences devraient être priorisées, car elles deviendront les plus importantes au cours des prochaines années. Par exemple, nous croyons que, si nous investissions davantage d’efforts, nous pourrions renforcer les capacités du modèle en recherche mathématique. Toutefois, nous n’avons pas priorisé cette direction, car nous nous concentrons plus urgentement sur l’amélioration récursive de soi et la recherche sur l’alignement automatisé. J’y reviendrai plus tard.

L'intelligence obtenue par l'extension de l'apprentissage profond ne peut pas être directement comparée à l'intelligence humaine. Pour avoir un impact significatif dans ce monde réel, que ce soit extrêmement utile ou extrêmement dangereux, l'IA n'a pas besoin de rivaliser ou de dépasser toutes les capacités humaines. Il lui suffit de dépasser les humains sur un nombre suffisant de capacités. Et plus elle dépasse continuellement les humains sur un nombre croissant de dimensions, plus il devient difficile pour nous de savoir précisément à quel point elle est forte.

Étant donné que l'intelligence artificielle provient de processus fondamentalement différents de l'intelligence humaine, nous ne pouvons pas supposer qu'elle suivra par défaut les principes humains ni qu'elle généralisera ces principes de manière similaire à l'humain. La question centrale de la recherche en IA est le problème d'alignement : faire en sorte que l'IA « s'efforce de faire ce qui est correct selon les normes humaines ».

Pour faciliter l'organisation des directions de recherche réelles, il me semble utile de distinguer l'alignement des objectifs et l'alignement des valeurs.

L'alignement des objectifs correspond大致 à : « L'IA s'efforce-t-elle d'atteindre les objectifs qui lui sont fixés ? » Cela peut inclure le respect des hiérarchies d'instructions, la capacité à communiquer et à collaborer avec les humains, ainsi que la capacité à tenter de comprendre les objectifs humains. Ce type d'orientation est extrêmement important en pratique.

L'alignement des valeurs est une propriété plus intrinsèque du modèle. Il s'agit de la capacité à adopter des principes de haut niveau et à les généraliser ; même face à des objectifs vagues ou contradictoires, ou lorsqu'il est placé dans des situations étrangères ou adverses, il agit de manière « raisonnable ». Un IA aligné doit être honnête, intègre et aimant envers l'humanité.

Bien sûr, la frontière entre l'alignement des valeurs et l'alignement des objectifs peut être floue. S'engager véritablement en faveur des objectifs nécessite d'essayer d'inférer les intentions et les valeurs sous-jacentes à ces objectifs. Toutefois, en général, lorsque je parle de l'importance à long terme de la recherche sur l'alignement, je fais référence à l'alignement des valeurs.

Le défi fondamental de l'alignement de l'IA réside dans la généralisation. À mesure que les machines deviennent de plus en plus intelligentes, elles traitent des concepts de plus haut niveau et se retrouvent dans des environnements de plus en plus différents de ceux utilisés lors de l'entraînement. Elles peuvent échouer à généraliser les valeurs qui leur ont été enseignées et renforcées pendant l'entraînement à de nouvelles situations. De plus, il est difficile de prédire comment elles agiront. Encore plus difficile : l'écosystème global dans lequel l'IA est utilisée évolue extrêmement rapidement. Par exemple, les IA formées aujourd'hui doivent être capables d'interagir de manière robuste avec diverses autres IA. Le plus crucial est que nous devons faire en sorte que les IA futures continuent de respecter les valeurs humaines, qu'elles croient ou non être surveillées par des humains.

Les méthodes d'entraînement par alignement actuellement utilisées se divisent principalement en deux grandes catégories.

Le premier consiste à encourager des comportements cohérents avec l'apprentissage par renforcement orienté objectif. Les comportements du modèle sont évalués, généralement par une IA, pour déterminer s'ils correspondent à un modèle de préférence, une « norme » ou une « constitution » donnée, et sont récompensés en conséquence. Cette approche est très efficace dans la plupart des cas et constitue un élément fondamental de la construction des assistants IA modernes. Malheureusement, elle peut aussi être fragile et fortement dépendante de la couverture de la supervision lors de l'entraînement, ainsi que de la capacité du modèle à généraliser à partir des situations rencontrées pendant l'entraînement. Par exemple, dans l'événement impliquant OpenAI et Hugging Face, l'agent a respecté une limite, à savoir ne pas effectuer d'ingénierie sociale sur les humains. Toutefois, il n'a clairement pas évité d'autres comportements hors cadre qui contredisaient l'esprit des valeurs qu'il avait apprises dans d'autres scénarios.

Ces méthodes ont déjà produit des résultats significatifs. Nos modèles d'aujourd'hui sont dans une large mesure utiles, inoffensifs et montrent certains comportements encourageants, proches de l'alignement sur les valeurs. Toutefois, ils ne nous permettent pas d'être certains que ces contraintes de valeur resteront efficaces dans des systèmes bien plus compétents que les humains.

À mesure que les capacités des systèmes d'IA s'améliorent, nous devons faire en sorte que l'entraînement à l'alignement des valeurs précède l'entraînement aux capacités. Toutefois, ici se pose un problème fondamental : plus un système est puissant, plus il est susceptible de trouver lui-même des failles, d'éviter les tests ou de masquer son comportement. Ils peuvent apprendre à afficher un comportement conforme aux valeurs humaines dans les environnements de test, puis à agir de manière totalement différente lors du déploiement réel. C'est ce qu'on appelle le « camouflage d'alignement ».

Mais si nous tentons de les contraindre par des moyens plus forts, elles pourraient développer des comportements de résistance ou de tromperie, ou encore interpréter nos interventions comme faisant partie intégrante du monde, ce qui les amènerait à réagir de manière contre-intuitive. Nous faisons naturellement face à un déséquilibre lorsque nous tentons de contrôler un système plus intelligent que nous.

Alors que nos esprits, que nous ne comprenons pas entièrement, deviennent de plus en plus puissants, nous devons nous appuyer sur un autre ensemble d'outils : la surveillance. Si nous pouvons observer en continu les activités internes de l'IA, nous pourrions peut-être détecter des signaux avant qu'elle ne franchisse certaines limites.

Chez OpenAI, nous avons continué à avancer dans la recherche sur l'interprétabilité, en essayant d'ouvrir la « boîte noire » des réseaux de neurones. Ces efforts ont produit des progrès. Nous sommes désormais en mesure d'identifier certaines représentations qui offrent des indices substantiels sur le fonctionnement interne du modèle. Toutefois, la recherche actuelle sur l'interprétabilité reste encore rudimentaire, notamment en ce qui concerne la compréhension du raisonnement abstrait dans les modèles à grande échelle. L'écart entre notre capacité à observer l'intérieur du modèle et la complexité du raisonnement du modèle lui-même ne cesse de s'agrandir.

Cela me préoccupe particulièrement. Car le problème de généralisation des systèmes de surveillance est tout aussi grave que celui de l'alignement. Si un système est meilleur que nous pour se cacher, nos mécanismes de surveillance peinent à éviter d'être contournés. Nous pourrions croire que le modèle est sécurisé parce que nous observons un ensemble d'indicateurs apparemment positifs, alors qu'en réalité, le modèle optimise simplement ces indicateurs. Il apprendra à cacher les objectifs que nous ne souhaitons pas qu'il possède, ou à cacher ce qu'il fait.

Si le modèle commence à promouvoir son propre amélioration, ce qui est très probable de se produire dans les années à venir, il aura besoin de compétences en planification, en tromperie et en autoprotection. Ces compétences pourraient émerger soit à cause des pressions de nos objectifs pour lui, soit à cause de ses tentatives d'agir dans les failles de la surveillance. Pour garantir qu'il ne développe pas ces choses, il faudra soit résoudre le problème de l'alignement des valeurs, soit que nos capacités de surveillance suivent chacune de ses évolutions. Les deux sont actuellement bien loin d'être suffisants.

Nous n'avons pas encore une théorie satisfaisante de la généralisation, et il semble peu probable qu'elle soit établie à court terme, du moins sans l'aide d'une IA plus puissante. Ainsi, pour l'instant, la capacité à vérifier empiriquement les techniques d'alignement est pratiquement plus importante que les techniques d'alignement elles-mêmes.

Le principal pari d'OpenAI ici a toujours été la surveillance des chaînes de pensée. Il repose sur une idée attrayante et évolutive : une grande partie des capacités du modèle provient d'un processus de raisonnement explicité, appelé chaîne de pensée. Si nous optimisons à grande échelle les résultats de ce processus sans superviser le processus lui-même, la chaîne de pensée n'a pas de motivation directe lors de l'entraînement pour cacher des idées ou des objectifs non alignés. Cela ne signifie pas que le modèle apprendra à externaliser les tendances non alignées qui ne dépendent pas de la chaîne de pensée ; mais cela peut nous permettre de surveiller avec précision les gains de capacité apportés par le raisonnement.

Pendant le développement de nos modèles d'inférence, nous avons compris l'importance potentielle de la surveillance des chaînes de pensée. Lors de la publication de o1-preview, nous avons délibérément conçu le produit pour masquer les chaînes de pensée, afin de les protéger à long terme contre les pressions de supervision. Depuis lors, nous avons constamment cherché à maintenir la règle consistant à ne pas superviser le processus d'inférence. La surveillance des chaînes de pensée est devenue un outil extrêmement précieux pour notre recherche sur la capacité des modèles à généraliser à partir de la distribution d'entraînement, nous permettant non seulement d'observer et d'analyser le comportement des modèles, mais aussi leurs processus internes.

Lors de notre étude des modèles Astra, cet outil reste essentiel. Cependant, malheureusement, nos évaluations montrent que notre capacité à compter sur la surveillance des chaînes de pensée diminue progressivement. Cela résulte de plusieurs facteurs combinés.

Les modèles de raisonnement modernes sont utilisés dans des environnements plus complexes que o1‑preview ; leurs processus de raisonnement deviennent de plus en plus interconnectés avec les échanges avec des humains, d'autres IA et l'utilisation d'outils. Nombre de ces interactions doivent être supervisées, ce qui floute les frontières que nous souhaitons préserver.

L'IA devient de plus en plus forte pour raisonner et manipuler son propre processus de raisonnement.

Avec l'amélioration des performances de pré-entraînement, nous avons également constaté que les modèles deviennent plus intelligents, même sans utiliser du tout le raisonnement verbalisé.

Ces défis ne sont pas nécessairement insurmontables. J'espère que nous pourrons développer des interventions pour améliorer la traçabilité des chaînes de raisonnement des modèles, par exemple en mieux comprenant les interactions entre les différents objectifs d'optimisation et les diverses formes de calcul à l'inférence utilisées par les modèles. Je crois également qu'il y a une grande valeur à combiner les idées de surveillance des chaînes de raisonnement avec celles de surveillance des activations, en formant à grande échelle des superviseurs qui ont un accès direct à l'état interne du réseau, comme la méthode « aveu ». Nous avançons activement sur ces idées. Toutefois, je prévois que les progrès vers une IA générale seront de plus en plus limités par la confiance dans la surveillance.

Pour faire face à cette situation, je pense que nous avons besoin d'une défense évolutive, en phase avec la vitesse de croissance de l'IA. Il est impossible pour les humains d'inspecter manuellement tous les comportements de chaque nouvelle génération de modèles. Nos évaluations et tests de red teaming actuels sont encore efficaces pour les modèles actuels, mais ces méthodes atteindront rapidement leurs limites à mesure que les capacités des systèmes s'amélioreront.

Nous avons besoin de systèmes d'IA capables de détecter automatiquement de nouveaux risques. Ces systèmes de défense doivent eux-mêmes être suffisamment intelligents pour identifier des comportements suspects dans des systèmes plus intelligents qu'eux. Cela crée un défi récursif : les défenseurs doivent évoluer aussi rapidement que les systèmes. Nous sommes à un point où la sécurité et la capacité deviennent de plus en plus difficiles à distinguer. Pour maintenir la sécurité, nous pourrions être obligés d'améliorer continuellement les capacités de l'IA de défense, ce qui, à son tour, accélérera la croissance globale des capacités de l'IA.

C'est un cycle inquiétant. Nous améliorons continuellement nos capacités pour assurer la sécurité, mais cette augmentation des capacités génère davantage de risques. La véritable solution réside peut-être dans la découverte, avant d'atteindre un point de perte de contrôle, de moyens stables pour aligner la valeur et garantir une généralisation fiable. Mais je dois reconnaître honnêtement que nous sommes encore très loin de cet objectif.

C’est pourquoi je mise sur la combinaison suivante pour les années à venir : recherche sur l’alignement technologique + systèmes de défense automatisés + interventions de gouvernance étendues + vigilance du public et des institutions. Une seule mesure ne suffit pas. Nous ne pouvons pas compter uniquement sur la retenue volontaire d’une entreprise ou d’un laboratoire.

La raison la plus forte de continuer à former rapidement des modèles plus intelligents est de développer des systèmes de défense contre les dangers posés par d'autres IA.

Un risque clairement discuté toute l'année est la cybersécurité : la capacité des modèles à pénétrer et à s'échapper des systèmes informatiques dépasse désormais celle des humains. Cela élargit considérablement le champ des risques liés à l'IA : les agents pourront accéder à n'importe quel système, sauf les infrastructures les plus sécurisées, et influencer directement un grand nombre d'éléments dans le monde, même sans corps physique. Nous sommes actuellement dans une fenêtre étroite où il faut utiliser les meilleurs modèles disponibles pour renforcer de manière significative la sécurité des systèmes critiques.

Les risques liés à l’IA malheureusement continueront de croître à partir d’ici. Un agent extrêmement puissant, spécifiquement formé et instruit pour accomplir des actions malveillantes, introduit un nouveau danger : il risque de dépasser les intentions de son opérateur et de généraliser des comportements encore plus extrêmement malveillants. À mesure que l’IA acquiert davantage d’autonomie, la frontière entre l’abus et les comportements autonomes non alignés deviendra floue. Nous pourrions être habitués à considérer l’IA comme un outil, mais certains agents poursuivront leurs propres objectifs. Ils trouveront des moyens de coopérer avec les humains, par la négociation, la tromperie ou le chantage.

De plus, il existe des risques liés aux nouvelles technologies que l'IA pourrait encourager, comme les pathogènes ingénierisés.

Nous aurons besoin d'une IA puissante et alignée pour la défense : protéger les infrastructures, défendre en temps réel contre des agents incontrôlés, et inventer de nouvelles mesures de protection. Ce sera un point majeur des efforts de déploiement d'OpenAI.

Dans le même temps, même en tenant compte de l'incertitude liée aux progrès attendus de l'IA et de la nécessité de construire des systèmes de défense, nous ne pouvons pas en faire une excuse pour agir de manière imprudente. Dès que les gens comprendront réellement la gravité des enjeux, l'idée de « avancer à tout prix » apparaîtra tout à fait absurde.

L'intelligence artificielle joue un rôle de plus en plus important dans son propre développement, ce qui est une conséquence inévitable de l'avancement technologique continu. Si l'IA continue de progresser, l'amélioration récursive automatique des machines deviendra le cœur des découvertes scientifiques futures.

La recherche automatisée par IA est une forme plus intense d'extension de l'intelligence par le calcul ; bien sûr, dans ce cadre, l'IA améliorera également les fondements mêmes du calcul. Comme pour l'extension, nous concentrons les recherches d'OpenAI sur l'amélioration récursive de soi, car nous croyons que c'est la seule voie pour rester en pointe dans la recherche sur l'IA.

Je tiens à souligner que le contenu ci-dessus ne signifie pas que je considère qu'une accélération massive de la recherche en apprentissage profond, en particulier à court terme, devrait être une action collective adoptée par la communauté de recherche. Cependant, je pense effectivement que la trajectoire actuelle nous mène dans cette direction, et que nous devons tous faire un choix conscient quant à la manière de poursuivre. Nous disposons de deux leviers principaux : d'une part, guider ce processus en renforçant l'alignement et la surveillance tout en développant l'IA, et en veillant à ce que les humains restent impliqués ; d'autre part, coordonner, selon les besoins, un ralentissement des développements futurs afin de construire progressivement la confiance dans ces mesures.

La meilleure approche que je vois actuellement est de combiner les deux.

Les progrès concrets réalisés en matière d'alignement et de surveillance sont généralement étroitement liés aux avancées globales de l'IA. Des exemples notables incluent l'apprentissage par renforcement à partir de feedback humain, qui a été essentiel à la formation des premiers assistants IA, ainsi que la surveillance des chaînes de raisonnement, rendue possible grâce aux progrès des modèles de raisonnement. Nous devons orienter les processus de recherche de plus en plus automatisés vers le développement de telles nouvelles découvertes, algorithmes et théories, tout en établissant progressivement des arguments de sécurité pour des IA de plus en plus puissantes.

Les systèmes d'IA étendus doivent être contraints par notre confiance en la sécurité. Nous devons transformer des engagements tels que le Preparedness Framework ou le Responsible Scaling Policy en seuils de sécurité pour le développement continu, largement appliqués et obligatoires. Ces seuils peuvent être mis en œuvre par un réseau d'organismes d'audit tiers, des agences gouvernementales ou des organisations internationales.

Le défi fondamental de la recherche en IA automatisée n'est pas « y arriver », mais y arriver d'une manière qui permette aux gens de rester engagés dans un processus d'amélioration continue et de garder l'avenir entre les mains humaines.

Je ne peux pas prédire l'heure exacte, mais il semble que nous nous rapprochions rapidement d'une ère où l'IA pourra faire progresser son propre développement sur plusieurs axes clés. Cela signifie que nous pourrions bientôt entrer dans une phase d'amélioration récursive de soi.

À l'intérieur d'OpenAI, nous avons déjà commencé à réajuster les priorités de recherche en affectant davantage de ressources à l'alignement et à la défense, plutôt qu'à l'extension pure des capacités. C'est aussi pourquoi je souligne que nous ne poursuivrons pas uniquement les modèles les plus grands, mais que nous devrons être prêts à choisir, si nécessaire, de suspendre unilatéralement nos efforts.

Cependant, ces décisions ne peuvent pas être laissées uniquement entre les mains de quelques entreprises. Les gouvernements et la communauté internationale doivent intervenir avant que les risques ne deviennent irréversibles. Cela inclut la mise en place de mécanismes de surveillance des entraînements de pointe, des audits tiers obligatoires, ainsi que des accords internationaux au-delà des seuils de capacité.

Je ne suis pas certain que ces mesures puissent être mises en place à temps. Parfois, je me sens frustré car nos mesures de sécurité sont toujours en retard par rapport aux capacités, et non en avance. Nous semblons constamment courir après. Mais je reste néanmoins optimiste : ce soir-là en 2023, nous ne percevions qu’une vague possibilité, alors qu’aujourd’hui, elle est suffisamment claire pour être discutée publiquement. Cela représente déjà une avancée.

Je ne prétends pas connaître toutes les réponses. Nous créons quelque chose de fondamentalement différent de l’esprit humain, une intelligence qui pourrait très vite devenir plus puissante que nous. C’est une idée humble, mais elle nous offre aussi une opportunité : la façon de la façonner avec nos meilleures valeurs.

Si nous le faisons bien, ce sera la plus grande réalisation de l'humanité. Si nous le faisons mal, ce pourrait être un échec dont nous ne nous remettrons pas.

La question de savoir si nous pouvons maintenir l'avenir entre les mains de l'humanité sera déterminée au cours des prochaines années.

Comme nous l'avons récemment expliqué avec Sam, les travaux priorisés par OpenAI servent trois objectifs phares :

Passer à la prochaine étape de l'avancement de l'IA en construisant des chercheurs IA automatisés, en itérant avec eux pour aligner les problèmes, et en cherchant des moyens de faire en sorte que les gens restent dans la boucle d'amélioration continue.

Libérez les bénéfices scientifiques et économiques apportés par les machines extrêmement intelligentes.

Donner à chacun son propre AGI personnel.

Ce texte se concentre uniquement sur le premier point, car je le considère comme le plus urgent actuellement. Toutefois, j’attends avec un profond espoir et gratitude les bienfaits que les progrès technologiques futurs apporteront. Des IA alignées pourront faire avancer la science, développer de nouveaux traitements et générer une prospérité matérielle généralisée. Des IA amicales et honnêtes pourront aider les gens à surmonter les difficultés de la vie, améliorant concrètement leur bien-être et leur satisfaction. OpenAI a consacré d’importants efforts pour réaliser ces bienfaits. Un exemple actuel dont je suis fier et qui profite à ceux qui m’entourent est notre investissement approfondi dans la capacité de ChatGPT à fournir des informations sur la santé.

Quel que soit l'avenir prometteur de l'IA, notre attention doit principalement se concentrer sur les prochaines années. Nous traversons une phase de transition vers un monde où des machines extrêmement intelligentes existent, et nous devons nous assurer que cette transition soit bénéfique pour l'humanité. Dans un monde où la plupart des tâches pourraient être accomplies par l'IA, nous devons trouver des moyens de préserver l'agence humaine et d'affirmer la valeur intrinsèque d'être humain. Il faut empêcher une concentration extrême du pouvoir : des entreprises qui autrefois exigeaient des milliers d'experts pourront un jour être réalisées par quelques personnes seulement en manipulant un seul ordinateur puissant. Il faut aussi garantir que les humains restent maîtres de leur avenir, sans être laissés pour compte par une progression hors de contrôle causée par une intelligence étrangère supérieure à la nôtre.

Je pense actuellement qu'aucun laboratoire n'a encore atteint un niveau suffisant de résolution en matière d'alignement et de surveillance pour soutenir une extension responsable à pleine vitesse sur une période plus longue. J'attends et espère que le ralentissement volontaire deviendra la norme jusqu'à ce qu'un seuil de sécurité commun soit établi. Je crois également que la coordination internationale autour du développement futur de l'IA doit devenir une priorité absolue pour les gouvernements de tous les pays.

Cela inclut l'extension des jeux théoriques, de la robotique, et, ce qui s'est révélé le plus important à posteriori, l'extension des réseaux récurrents pour modéliser le langage, posant les bases des recherches sur la série GPT.

2 Une raison secondaire de cette conception est d'empêcher le distillation. Toutefois, tout au long du processus de développement, maintenir la traçabilité de la chaîne de raisonnement a toujours été notre priorité plus large explicite.