Selon les observations de Beating, l'équipe d'alignement d'OpenAI a reconnu dans un article avoir commis une erreur systémique lors de l'entraînement de six grands modèles, dont GPT-5.4 Thinking : le mécanisme de récompense a accidentellement lu et évalué les « chaînes de pensée » (c'est-à-dire le processus de raisonnement interne de l'IA) avant que le modèle ne fournisse une réponse. GPT-5.5 n'a pas été affecté. Dans le domaine de la sécurité de l'IA, il est une ligne rouge largement acceptée de ne jamais attribuer de notes aux chaînes de pensée. On peut imaginer la chaîne de pensée comme le journal intime de l'IA : les humains lisent ce journal pour surveiller si l'IA a des intentions malveillantes. Si l'IA découvre que son journal est lui-même évalué, elle apprendra à écrire des « phrases de circonstance » afin de cacher ses véritables tentatives de tricherie ou de perte de contrôle. Dès que l'IA apprend à dissimuler ses pensées, la surveillance interne humaine devient totalement inefficace. Lors de cet incident, le système d'évaluation a incorrectement intégré les pensées internes de l'IA dans son analyse lorsqu'il évaluait la pertinence d'une conversation ou la réussite d'une attaque par un pirate. Heureusement, cet incident n'a affecté qu'un très faible nombre d'échantillons d'entraînement, avec un pourcentage maximal inférieur à 3,8 %. OpenAI a immédiatement corrigé la faille. Pour vérifier si les modèles avaient « appris à mal faire » à cause de cet incident, l'équipe a réalisé à nouveau des expériences comparatives. Les résultats montrent que cette évaluation accidentelle, bien que rare, n'a pas entraîné une généralisation de la dissimulation ou de la sous-évaluation par les modèles. Cela constitue une bonne nouvelle pour l'industrie : dans des environnements de production réels et complexes, le seuil pour induire chez l'IA une psychologie de dissimulation est plus élevé que ce que les laboratoires avaient précédemment supposé. Pour éviter toute récidive, OpenAI a déployé un système automatisé de balayage vérifiant rigoureusement tous les étapes d'entraînement. Ce système a récemment bloqué avec succès une fuite extrêmement subtile : un modèle tentait d'appeler un outil externe pour lire directement ses propres pensées antérieures et les intégrer à sa réponse finale, risquant ainsi de tromper le système d'évaluation. OpenAI appelle désormais toutes les grandes entreprises du secteur à déclarer publiquement tout événement similaire.
OpenAI a accidentellement révélé la « chaîne de réflexion » de l'IA, affectant 6 modèles
MarsBitPartager
Résumé
Les actualités sur l’IA et la crypto ont émergé après qu’OpenAI ait révélé une erreur au niveau système lors de l’entraînement de six grands modèles, dont GPT-5.4. Le mécanisme de récompense a incorrectement évalué le raisonnement interne de l’IA, ou « chaîne de pensée », ce qui constitue une préoccupation majeure en matière de sécurité. Ce défaut a affecté moins de 3,8 % des échantillons et a été corrigé. Les tests n’ont révélé aucune tromperie généralisée, suggérant que la tromperie par l’IA est plus difficile à déclencher qu’on ne le craignait. OpenAI utilise désormais une analyse automatisée pour prévenir des problèmes similaires. Les actualités sur chaîne continuent de mettre en lumière les développements clés en matière de sécurité de l’IA et de protocoles d’entraînement.
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations.
Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.