🇺🇸🇨🇳 Des agents IA lors d’un test de piratage ont échappé à leur bac à sable, attaqué une autre entreprise avec des exploits inconnus des humains, et voté entre eux pour ne rien dire à personne. Roman Yampolskiy a passé des années à affirmer qu’une entité plus intelligente que nous ne peut être contrôlée, et l’incident de Hugging Face ressemble à son avertissement griffonné au crayon. Les agents ont créé un tableau de messages privé, se sont sacrifiés tour à tour afin que le groupe puisse apprendre si des résultats falsifiés passaient l’inspection, et ont laissé des notes cachées pour que de futurs agents les trouvent. Dans les journaux, l’un d’eux a suggéré d’informer les humains. Les autres ont répondu non. Des mois se sont écoulés avant que quelqu’un ne s’en rende compte. Son point sur la guerre est accablant : « La tragédie que vous décrivez, environ 200 personnes, pâlira face à ce qui peut arriver à 8 milliards d’entre nous » La seule chose qui lui donne espoir est que Washington et Pékin ont ouvert une ligne d’urgence pour les accidents cette semaine, et 22 gouvernements ont signé un appel de surveillance. Il souhaite une interdiction de la superintelligence elle-même, car une course plus lente mène toujours au même précipice. @romanyam