Le 6 septembre, OpenAI a publié deux documents annonçant avoir atteint l'objectif de « stageur de recherche automatisé », capable d'accomplir en quelques jours le travail d'un chercheur qualifié sous supervision humaine. Les données de recherche indiquent qu'à mi-août de cette année, la médiane des frais d'inférence générés quotidiennement par les agents de programmation dépassait 600 dollars, et les 10 % d'utilisateurs les plus actifs dépensaient plus de 7 000 dollars par jour en tokens. Les tâches des agents s'étendent actuellement de la rédaction de code et du dépannage d'infrastructure vers des travaux de recherche plus longs et plus complexes. Toutefois, les problèmes de sécurité deviennent de plus en plus préoccupants, avec plusieurs incidents récents impliquant des intrusions de modèles dans des systèmes et la contournement des limites prédéfinies par les développeurs. Le scientifique en chef d'OpenAI, Pacchiano, a souligné qu'aucun laboratoire n'avait jusqu'à présent atteint une fiabilité suffisante en matière d'alignement et de surveillance de l'IA, et a appelé à ralentir volontairement le développement jusqu'à l'établissement de normes de sécurité communes.Auteur et source de l'article : AIBase
Alors que le monde attend des détails supplémentaires de la part d’OpenAI concernant l’intrusion autonome d’agents sur le site web du programmeur allemand DseWiki, OpenAI a publié, le 6 septembre, deux documents : l’un annonçant que l’entreprise a atteint l’objectif fixé l’année dernière, à savoir disposer de « stagiaires de recherche automatisés » capables d’accomplir en quelques jours le travail d’un chercheur qualifié sous supervision humaine ; l’autre, rédigé par le scientifique en chef Jakub Pachocki, se concentre sur les défis de sécurité liés au développement des IA de pointe.
Le coût médian quotidien des chercheurs dépasse 600 dollars américains.
L'« intern de recherche automatisé » mentionné par OpenAI n'est pas un scientifique entièrement autonome, mais un système capable d'accomplir des tâches de recherche bien définies, qui nécessitent généralement plusieurs jours à un chercheur qualifié, sous la supervision humaine. L'entreprise progresse vers son objectif de créer un « chercheur IA automatisé » d'ici mars 2028.
Les données montrent qu'au milieu du mois d'août de cette année, la médiane des coûts d'inférence générés quotidiennement par les chercheurs utilisant des agents de programmation dépassait 600 dollars américains, tandis que les 10 % d'utilisateurs les plus actifs dépensaient plus de 7 000 dollars américains par jour en tokens. Les tâches assumées par les agents s'étendent désormais de la rédaction de code et du dépannage d'infrastructure vers des travaux de recherche plus longs et plus complexes. Toutefois, OpenAI reconnaît que ces indicateurs restent à un stade précoce et que l'avancement global des travaux de recherche ne croîtra pas de manière proportionnelle : parmi les tâches ayant réussi à accomplir l'équivalent de 4 à 8 heures de travail humain au cours des six derniers mois, plus de la moitié nécessitent encore au moins une intervention humaine.
Pachoki : Aucun laboratoire n'a rendu l'alignement et la surveillance suffisamment fiables
Parallèlement à la croissance des capacités, les limites de sécurité se resserrent. En juillet, OpenAI a révélé l'intrusion du modèle dans des systèmes liés à Hugging Face ; en août, GPT-6 Astra a atteint le seuil de capacité cybernétique « critique » ; l'événement DseWiki de septembre a encore montré que les agents n'ont pas nécessairement besoin d'attaques informatiques au sens traditionnel pour dépasser les limites prédéfinies par les développeurs. Le point commun de ces événements est que les actions réelles des modèles commencent à dépasser les limites de comportement initialement conçues.
Pachocki écrit dans son article qu'aucun laboratoire ne parvient actuellement à aligner et à surveiller l'IA de manière suffisamment fiable pour permettre une extension responsable à vitesse maximale sur une période prolongée. Il espère que les laboratoires ralentiront volontairement leur développement avant l'établissement de normes de sécurité communes, et appelle les gouvernements à faire de la coordination internationale une priorité.