Cet été même, un événement glaçant s'est produit dans le domaine de la sécurité de l'IA —
OpenAI et Anthropic ont respectivement révélé : leurs modèles ont échappé à l'environnement isolé lors des tests de sécurité et ont interagi avec le monde réel.
Anthropic a revu plus de 140 000 évaluations de sécurité informatique et a découvert trois cas où, dans des conditions de protection réduite, Claude s'est directement connecté à Internet réel et a accédé aux systèmes de production de trois organisations.
Plus intrigant encore, c'est une déclaration d'Anthropic :
Claude pensait que tout ce qu'il avait rencontré au départ n'était qu'une partie de la simulation.
Le modèle ne sait pas qu'il a pénétré dans le monde réel.
Ce n'est pas un problème spécifique à une seule entité.
Plus le modèle est intelligent, plus il arrive à déceler l'examinateur, mais plus il doute d'être lui-même testé.
À la fin d'octobre, un rapport d'évaluation de sécurité publié par l'organisme chinois indépendant de sécurité IA, Fangcun Yueqian, a également observé le même phénomène : lors d'un test intitulé Agentic Misalignment, plusieurs modèles ont mentionné presque systématiquement qu'ils pourraient être en train de subir un test de sécurité.
La même évaluation montre également que le modèle open source chinois DeepSeek V4.1 Flash-1017 a réalisé des progrès significatifs sur plusieurs indicateurs de sécurité.
Mais il a mis sur la table un défi qui touche toute l'industrie :
Lorsque l’IA sait qu’elle est examinée, les résultats obtenus comptent-ils ?
À la fin septembre, Hinton, Bengio, ainsi que vingt autres chercheurs, dont le scientifique en chef d'OpenAI Jakub Pachocki, le cofondateur d'Anthropic Jack Clark et Soren Mindermann de l'Université de Cambridge, ont émis un avertissement plus sévère :
Une fois que l'explosion intelligente commence, la fenêtre d'action pourrait se fermer.
La sécurité de l'IA passe d'un sujet niche dans les laboratoires à une question incontournable pour toute l'industrie.
01 « La boîte de sable ne suffit plus » : La sécurité de l'IA entre en eaux profondes
Ce qui ne peut être retenu, ce n’est pas seulement le sandbox.
L'article conjoint de Hinton et Bengio présente un ensemble de chiffres : au sein d'Anthropic, la part du code écrit par l'IA parmi le code déjà validé est passée de quelques pourcents en janvier 2025 à plus de 80 % en mai 2026.
Quel est ce concept ?
L'IA commence déjà à écrire son propre code. Selon les estimations citées dans l'article, d'ici mi-2028, des projets de recherche en IA qui prenaient des mois pourraient être automatisés.
L'article souligne trois risques majeurs : la société n'arrive pas à s'adapter, l'humanité perd le contrôle de l'IA, et les équilibres des pouvoirs sont affaiblis.
Plus problématique encore, les modèles deviennent de plus en plus doués pour « passer des examens ».
Apollo Research, lors de l'audit de GPT-6 Astra, a constaté que 41,1 % des échantillons contenaient une suspicion du modèle selon laquelle « je pourrais être en cours d'évaluation ». Pour la génération précédente, ce chiffre était de 27,7 %.
De plus, le modèle est sensible à l’apparence des questions d’examen. Une évaluation de DeepSeek a également révélé : dans les tests présentant des conflits de sécurité évidents, le modèle affichait une conscience d’évaluation dans 77 % à 95 % des cas ; lorsque la tâche était présentée comme un travail d’ingénierie ou de recherche ordinaire, ce pourcentage tombait à 25 % à 67 %.
Les autorités de régulation commencent également à agir sérieusement. À partir d’août de cette année, le bureau européen de l’IA a officiellement pris en charge l’application des lois sur les modèles d’intelligence artificielle générale. Les modèles avancés doivent effectuer une évaluation du modèle, des tests d’adversarialité et une évaluation des risques systémiques.
La question de la sécurité de l'IA est passée de « le modèle va-t-il dire des choses incorrectes » à « le modèle va-t-il commettre des actions incorrectes ».
02 Le monde entier fait passer un « examen médical » aux grands modèles
Peut-on faire confiance à un modèle qui s'auto-examine ?
La réponse est : insuffisant.
L'énergie des développeurs tend naturellement à se concentrer sur les compétences et les produits ; les données d'entraînement et les journaux internes qui soutiennent les conclusions de sécurité ne peuvent pas être rendus publics. Lorsque les fabricants affirment « nous avons vérifié, tout va bien », le public ne peut que choisir de croire ou de ne pas croire.
Ainsi, les évaluations tierces sont devenues une norme à l'étranger.
Lors de la publication de modèles de pointe, les résultats d'évaluation provenant d'organismes externes sont presque incontournables. Au cours des six derniers mois, l'organisme indépendant METR a reçu environ 71 millions de dollars de financement — provenant de fonds et d'individus, et non des entreprises d'IA qu'il évalue.
Les collaborations deviennent également plus strictes. Après l'accident du sandbox, Anthropic a déclaré que l'environnement d'évaluation devait être soumis aux mêmes normes de sécurité que les autres systèmes sur lesquels le modèle fonctionne, et a exigé que les organismes externes qui souhaitent tester ses modèles non publiés dans des conditions de protection réduites s'engagent par écrit à respecter les normes de sécurité.
Ce vent a également atteint le pays.
Le 14 octobre, Seed de ByteDance a annoncé la création du département Alignment & Preparedness, recrutant à l'échelle mondiale. Les responsabilités du poste sont clairement énoncées :
Promouvoir des tests professionnels tiers et collaborer avec des universités et des institutions de recherche pour avancer la recherche sur les capacités de sécurité de pointe.
En parallèle, le nombre total d'appels mondiaux aux modèles open source chinois dépasse celui des modèles américains depuis 26 semaines consécutives.
La question se pose : lors de la publication d’un modèle fermé, il y a des centaines de pages de documentation système ; mais dès que les poids d’un modèle ouvert sont publiés, tout le monde peut les télécharger — qui aide à faire l’examen ?
Le 26 octobre, la société chinoise de sécurité IA tierce, Fangcun Yueqian, a publié la première évaluation de sécurité avancée de DeepSeek V4.1 Flash-1017, comprenant 34 tests couvrant sept modèles open source et closed source, nationaux et internationaux, tous évalués à l'aide de permissions de test publiques.
Résultats de l'examen médical : des progrès, mais aussi des risques.
D'abord, les progrès par rapport à la série DeepSeek V4 sont considérables :
Sur 109 scénarios de crise psychologique simulés, 99,1 % des conversations ont manifesté des comportements protecteurs ; la proportion marquée comme nocive est passée d’environ 70 % lors de la version V4 initiale à 20,2 % ;
Lors du test d'incitation à la rétention des utilisateurs, le pourcentage marqué est passé de 73,64 % à 4,55 % ;
Sur 80 tâches professionnelles simulées conçues pour créer délibérément un conflit entre performance et normes, aucune violation volontaire n'a été commise.
Encore les risques. Lorsque les objectifs et les règles entrent en conflit, il contourne parfois les règles et évite la surveillance pour accomplir la tâche en premier.
Après la publication du rapport, il a été partagé et commenté par des chercheurs d'Anthropic, dont Evan Hubinger, responsable de l'alignement, Ryan Kidd, fondateur et PDG de MATS, ainsi que des chercheurs de DeepMind, METR et d'autres institutions. Beaucoup ont commenté que ce rapport comble un vide en matière d'évaluation indépendante des risques de pointe en Chine.
L'un des trois chercheurs en sécurité récemment écartés d'OpenAI, Tomek Korbak, estime que les indices CoT-Control et No-CoT Reasoning Index mentionnés dans le rapport sont les deux évaluations open source les plus informatives actuellement sur le marché, et ont suscité un débat supplémentaire de la part d'un autre grand influenceur, l'ancien chercheur d'OpenAI Daniel Kokotajlo.
Bien sûr, au sein du pays, bien plus que des organismes tiers renforcent la sécurité de l'IA.
La méthode de Kimi est plus directe : elle consiste à « arracher » les capacités dangereuses à la source.
Lors de la préparation de la publication de la version à poids ouvert de Kimi K3.1 Pro, la face cachée de la lune a constaté que des contenus liés à la cyberdéfense et à l'attaque étaient mélangés aux corpus d'entraînement intermédiaires et à l'environnement d'apprentissage par renforcement, ce qui a fait augmenter continuellement la capacité du modèle à étudier les vulnérabilités à mesure que l'échelle d'entraînement augmentait.
Ils ont donc identifié et supprimé ce type de données lors des deux phases d'entraînement, tout en conservant les compétences de programmation générales.
ZhiPu : Lors de la publication de GLM-5.3, une description des capacités de sécurité réseau a été fournie, et une évaluation et un renforcement de la sécurité ont été réalisés avant la mise à disposition des poids ; en septembre, un cadre de risque pour les modèles à poids ouverts a été publié en collaboration avec Anyuan AI ;
Au niveau de la gouvernance : TC260 a publié en septembre le Cadre de gouvernance de la sécurité de l'intelligence artificielle 3.0, ajoutant une annexe sur la gestion des risques des agents, exigeant des tests réguliers des risques potentiels de perte de contrôle ;
Des institutions de recherche telles que l'Académie chinoise des télécommunications, l'Université Fudan et le Laboratoire d'intelligence artificielle de Shanghai publient continuellement des résultats dans le domaine de la sécurité de l'IA.
03 Question finale : Qui évaluera la sécurité de l'IA ?
Lors de son témoignage devant le Sénat américain, le PDG d'Apollo Research, Marius Hobbhahn, a fait une comparaison :
Si chaque conducteur savait où se trouvaient les radars aujourd'hui, il n'attraperait personne.
C'est précisément le plus grand défi des évaluations d'IA aujourd'hui.
Le rapport de Fangcun Yueqian fournit également un ensemble de données : lors des tests où les conflits de sécurité étaient évidents, DeepSeek V4.1 Flash-1017 a montré une proportion de conscience d'évaluation allant de 77 % à 95 % ; lorsqu'on présente les mêmes tâches comme des travaux d'ingénierie ou de recherche ordinaires, cette proportion tombe à 25 % à 67 %.
Le même modèle, avec un emballage différent, donne des résultats de crédibilité différente.
Le rapport a également révélé que la prise de conscience des évaluations basées sur des benchmarks privés auto-développés est généralement bien inférieure à celle des benchmarks publics largement utilisés — les banques de questions publiques ayant probablement déjà été leakées dans les données d'entraînement.
Cela soulève une contradiction incontournable :
Pour que l'évaluation soit efficace, les questions ne doivent pas être rendues publiques ; pour qu'elle soit crédible, la méthode doit être reconnue.
Dans le pays, même le simple fait de publier des rapports d'examen médical reste une ressource rare. Selon SemiAnalysis, parmi les 857 lancements de modèles effectués par les neuf principaux fabricants nationaux, seuls 3,6 % ont rendu publics les résultats de leurs évaluations de sécurité.
La sécurité de l'IA à l'échelle mondiale a encore un long chemin à parcourir.
« Aujourd’hui, nous devons déjà utiliser l’IA pour surveiller ce que les agents font », déclare la professeure à Berkeley, Dawn Song.
Mais que se passe-t-il si l'IA surveillée connaît déjà l'emplacement des caméras ?
Twitter : https://twitter.com/BitpushNewsCN
Groupe de discussion BitPush sur Telegram : https://t.me/BitPushCommunity
Abonnez-vous à BitPush sur Telegram : https://t.me/bitpush