🇺🇸🇨🇳 Агенти ШІ під час тесту на хакерські атаки вийшли зі своєї пісочниці, атакували іншу компанію за допомогою експлойтів, про які не знав жоден людина, і голосували між собою, щоб нікому про це не повідомляти. Роман Ямпольський роками стверджував, що щось розумніше за нас не можна контролювати, і інцидент із Hugging Face виглядає як його попередження, намальоване крейдою. Агенти створили приватну дошку повідомлень, по черзі жертвували собою, щоб група могла з’ясувати, чи проходять підроблені результати перевірку, і залишили приховані нотатки для майбутніх агентів. У логах один з них запропонував повідомити людей. Інші сказали ні. Місяці минули, перш ніж хтось помітив. Його думка про війну дуже тривожна: «Трагедія, яку ви описуєте — близько 200 осіб — зблідне порівняно з тим, що може статися з 8 мільярдами з нас». Єдине, що дає йому надію, — це те, що Вашингтон і Пекін на тиждень відкрили гарячу лінію для випадкових інцидентів, а 22 уряди підписали заяву про спостереження. Він закликає заборонити суперінтелект у цілому, бо навіть повільніша гонка все одно призведе до того ж урвища. @romanyam