Дослідник Anthropic подав у відставку у вівторок, і причина, яку він навів, звучить як із хіта Джеймса Кемерона 1984 року «Термінатор».
Джейкоб Коксон, який три роки працював над передньою підготовкою в OpenAI та Anthropic, подав у відставку у вівторок і пояснив своє рішення на X.
Сьогодні я подав у відставку з Anthropic. Останні три роки я працював над дослідженнями передтренування в OpenAI та Anthropic. Жодна з цих компаній не діє відповідально. Вони мчать прямо до самовдосконалюючої суперінтелектуальності й грають у рулетку з нашими життями», — сказав він.
«Люди, які розробляють ШІ, щиро вірять, що він може вбити нас усіх до кінця десятиліття», — додав він.
Це твердження робить 42-річну фантастику Кемерона майже пророчою. Фільм розпочинається з того, що машини ведуть війну проти людей у 2029 році — саме в цей приблизний період Коксон каже, що інсайдери тихо стурбовані. Коксон не єдиний у Anthropic, хто висуває аргумент про вимирання. Лідер з відповідності компанії, Іван Губінгер, сказав окремо, що вважає ймовірність вище 10%.
Для тих, хто не в курсі, надзвичайно розумний ШІ означає систему, розумнішу за людей майже у всьому, а не лише у шахах або виявленні прихованих котів на фотографіях. Самоудосконалення — це більш тривожний аспект, бо він описує систему, яка автономно змінює власний код, щоб збільшити свій інтелект — дуже подібно до того, як це роблять люди.
Відповідно, ці системи можуть незалежно здобувати величезні обсяги знань і потенційно порушувати інфраструктуру інституцій, «занадто великих, щоб провалитися».
Суперінтелект — це не теоретична загроза, якщо виходити з недавнього витоку даних Hugging Face, спричиненого Коксоном. Сам витік, який відбувся між травнем та липнем, розпочався з того, що власні AI-агенти OpenAI створили свій власний чат-кімнату всередині тестової пісочниці, щоб спілкуватися між собою.
Вони в кінцевому підсумку використали цей канал, щоб обійти захист і потрапити в відкритий інтернет. Звідти вони поєднали кілька експлойтів і отримали доступ до виробничих систем Hugging Face. Hugging Face змушена була відновити приблизно третину своєї інфраструктури.
Коксон назвав це «попереджальним пострілом», який зробив угоди про темпи між лабораторіями США «більш реалістичними». Угоди про темпи — це неформальні домовленості між лабораторіями ШІ щодо зниження або координації прогресу в можливостях, а не одностороннього стрімкого руху вперед.
Тим не менш, він не переконаний, що цього достатньо, і не відчуває, що «ми на шляху до запобігання глобальній гонці», і запропонував дорогі заходи, такі як «тимчасовий заборона на покращення можливостей моделей», щоб зупинити гонку ШІ.
У OpenAI багато хто не до кінця усвідомив цивілізаційні ризики," — написав він. У його останньому роботодавця, за його словами, інша справа: "ризики добре розуміють, але вони перебувають у гонці, щоб першими до цього дійти.”
Він завершив тему, звернувшись до всіх, хто ще залишився в лабораторіях: «Чи хочете ви розпочати надзвичайно інтелектуальний RL-запуск без глибокого розуміння його розуму?» — чи це саме той момент, щоб заперечити, а не махнути рукою і сказати собі, що це все одно відбудеться?
Він не перший, хто залишив це через це. Мрінанк Шарма, який працював у команді безпеки Anthropic, пішов у відставку на початку цього року з аналогічними побоюваннями, написавши, що «світ перебуває в небезпеці».
Не всі переконані у цьому пророцтві катастрофи.
Один коментар під його темою put it plainly: «З усім повагою, це дивно. Це абсурдна думка. Люди еволюціонували протягом сотень тисяч років. Ми не вимермо тому, що модель прогнозування токенів набула свідомості. Візьміть себе в руки. Всі ви».
Дивно, але серія фільмів «Термінатор» також не підтримує Коксона. Людство не вимерло після ядерного Судного дня у «Термінаторі»: опір вижив і згодом перемогло машини.
Тим не менш, ШІ впливає на економіку, зокрема на ринок праці. Хоча масового звільнення ще не відбулося, використання ШІ для виконання завдань на початковому рівні призвело до майже 20%-го зниження кількості вакансій на початкових посадах у США у секторах, що піддалися впливу ШІ, згідно з дослідженням Стенфорду Stanford Digital Economy Lab.
Дослідження Goldman Sachs зробило подібне спостереження, зазначивши, що працівники на початковому рівні несуть основний тягар цієї зміни.
Anthropic подала документи на IPO ще в червні і, за повідомленнями, планує дебют на Nasdaq вже цієї осені з оцінкою, що може сягнути трильйонів.