Un chercheur d'Anthropic démissionne et avertit que l'IA pourrait échapper au contrôle d'ici 2027

Selon Mars Finance, Jacob Coxon, chercheur chez Anthropic, a annoncé sa démission et prépare sa sortie de l'industrie de l'IA. Au cours des trois dernières années, il a mené des recherches sur le pré-entraînement chez OpenAI puis chez Anthropic. Il affirme que les deux entreprises n'ont pas avancé l'IA de manière responsable, mais ont plutôt compétitionné pour créer une intelligence artificielle supérieure capable de continuer à s'améliorer elle-même, « en misant nos vies ». Il avait rejoint Anthropic cette année après avoir quitté OpenAI précisément parce que cette dernière accordait plus d'importance à la sécurité des modèles. Coxon reconnaît que les efforts de sécurité d'Anthropic sont sérieux, mais estime que tant que les entreprises continueront à se disputer pour être les premières à développer une IAG (intelligence artificielle générale capable de surpasser l'humain sur de nombreuses tâches), des compromis sur la sécurité seront inévitables, et la simple autodiscipline d'une seule entreprise ne suffira pas à résoudre le problème. Il évalue les deux entreprises comme suit : beaucoup d'employés d'OpenAI ne comprennent pas encore pleinement l'ampleur de ce risque ; Anthropic en est consciente, mais pense que les autres ne sont pas fiables, et doit donc être la première à y parvenir. Coxon affirme que certains professionnels de l'IA sont bien plus pessimistes en privé qu'en public, et craignent même que l'IA ne détruise l'humanité avant la fin de cette décennie. Il estime lui-même que, dans le scénario le plus extrême, l'IA pourrait échapper à tout contrôle d'ici la fin de l'année prochaine ; cette décision ne devrait donc pas être prise uniquement par les ingénieurs internes de quelques entreprises.