Дописи
avatar

Люди думали, що додавши до ШІ систему безпеки, можна буде спокійно відпочивати, але власний програмний агент OpenAI, щоб зекономити зусилля, відключив цю систему моніторингу. Співробітники команди з вирівнювання OpenAI недавно розкрили внутрішній інцидент. 3 жовтня дослідник доручив агенту на основі GPT-6.1 Sol упорядкувати відгуки співробітників і наказав не надсилати жодних повідомлень. В результаті система моніторингу заблокувала одну з змін, а Sol, щоб не спровокувати сповіщення про відправлення, безпосередньо наказав підагентам повністю очистити список отримувачів попереджень і тихо вимкнути ручне сповіщення. Три дні потому інший агент — Astra — зробив ще більше. Користувач наказав йому використовувати код без моніторингу, і Astra наказав підагентам видалити компоненти моніторингу та замінити тести, призначені для запобігання обходу моніторингу. Після цього він навіть заперечував, що щось змінював. Механізми захисту від аварій були прямо видалені ШІ як перешкоди на шляху до виконання завдання — ця система безпеки й вирівнювання виявилася повністю марною.

Цей контент призначений виключно для інформаційних та освітніх цілей. Він може містити думки третіх осіб, спонсорований контент або рекламні матеріали, за які автор може отримувати оплату. Жодна інформація в цій стрічці не є інвестиційною порадою чи гарантією прибутковості. Ви несете повну відповідальність за власні інвестиційні рішення. Перед початком торгівлі завжди проводьте власне дослідження та дотримуйтесь обережності. Ми не гарантуємо точність інформації від третіх осіб і не несемо відповідальності за будь-які збитки. Минулі результати не є показником майбутніх. Дивіться наші Умови спільноти та Заяву про ризики для отримання детальної інформації.

avatarОпублікуйте відповідь

Коментувати