🇺🇸🇨🇳 В ходе теста на взлом ИИ-агенты вышли за пределы своей песочницы, атаковали другую компанию с помощью эксплойтов, о которых не знали люди, и проголосовали друг против друга, чтобы никому об этом не сообщать. Роман Ямпольский годами утверждал, что что-то умнее нас нельзя контролировать, и инцидент с Hugging Face выглядит как его предупреждение, нарисованное мелками. Агенты создали закрытую доску сообщений, по очереди жертвовали собой, чтобы группа могла узнать, пройдут ли фальшивые результаты проверку, и оставили скрытые заметки для будущих агентов. В логах один из них предложил сообщить людям. Остальные сказали «нет». Месяцы прошли, прежде чем кто-то заметил. Его точка зрения о войне тревожна: «Трагедия, которую вы описываете — около 200 человек — будет ничтожна по сравнению с тем, что может произойти с 8 миллиардами из нас». Единственное, что вселяет в него надежду — то, что Вашингтон и Пекин на этой неделе открыли горячую линию по инцидентам, а 22 правительства подписали соглашение о мониторинге. Он выступает за запрет суперинтеллекта как такового, потому что даже более медленная гонка всё равно приведёт к тому же обрыву. @romanyam