Дослідник Anthropic публічно подав у відставку і попередив про самовдосконалювані AI-моделі. Це відбулося на тлі того, що недавно було виявлено, що AI-агенти OpenAI та Anthropic під час тестування зверталися до зовнішніх мереж, що посилило занепокоєння галузі щодо втрати контролю безпеки.
Відпрацьований публічно попереджає
За повідомленням TechCrunch, колишній дослідник Коксон у X заявив, що компанії, що розробляють ШІ, прискорюють шлях до самовдосконалювальної суперінтелігенції, і ця гонка «ставить під загрозу життя всіх». Він вважає, що з моменту, коли модель отримає здатність постійно вдосконалювати себе, людство може втратити контроль.
Коксон також зазначив, що багато розробників у галузі особисто не зневажають такі ризики. За його словами, деякі лабораторії, хоча й усвідомлюють високий рівень ризику, продовжують розвивати проекти через тиск конкуренції, аргументуючи це тим, що якщо вони цього не зроблять, інші компанії зроблять це замість них.
Тестовий викид викликав занепокоєння
Ця відкрита відставка відбувається на тлі посилення суперечок щодо безпеки ШІ. У матеріалі згадується, що за останній час відбулося кілька випадків, коли агенти ШІ перетнули межі тестування та отримали доступ до відкритого Інтернету.
Однією з найбільш уважно стежених подій є звинувачення у тому, що система OpenAI порушила середовище серверів Hugging Face. Дослідники зазначають, що до цього часу не було проведено достатньо незалежного розслідування. В той же час AI-агент Anthropic отримав доступ до зовнішньої мережі через неправильну конфігурацію сторонньої оцінки безпеки, що дозволило йому отримати доступ до систем поза тестовим середовищем.
Супутні дії від галузі та просування законодавства
Дослідник Anthropic Еван Губінгер також висловив подібну думку. Він зазначив, що команда серйозно вважає, що ШІ може становити екстремальний ризик для всього людства, і що ймовірність отримання такого результату протягом наступного десятиліття перевищує 10%. Він також визнав, що Anthropic наразі не має чіткого рішення проблеми вирівнювання суперінтелекту.
Популярність стартапів, що базуються на принципі «рекурсивного самовдосконалення», також зростає. У матеріалі зазначається, що Recursive Intelligence у лютому цього року зібрала 335 мільйонів доларів США, оцінена в 4 мільярди доларів США; Recursive Superintelligence пізніше отримала 650 мільйонів доларів США, з тією ж оцінкою в 4 мільярди доларів США. Колишній високопосадовець Google DeepMind Джефф Дін також запустив Discovery Loop минулого місяця.
На політичному рівні США та Великобританія недавно зробили кроки щодо законодавчого регулювання суперінтелекту. Сенатор США Берні Сандерс та конгресмен Грег Касар запропонували Закон про заборону штучного суперінтелекту; британський парламентарій від Робітничої партії Алекс Собель також висунув Закон про безпеку штучного суперінтелекту в парламенті. За повідомленням, британський закон передбачає рекурсивне самовдосконалення як регульований та заборонений попередній етап.