Головний науковець OpenAI попереджає про зростаючу складність та виклики зі збігом штучного інтелекту

Автор: Jakub Pachocki

Переклад: Deep潮 TechFlow

Глибокий огляд: Головний науковець OpenAI рідкісно висловився, стверджуючи, що ШІ наближається до рекурсивного самовдосконалення, і інструменти вирівнювання та моніторингу вже не встигають за темпами еволюції системи. Він не надав утішливих висновків, а натомість висунув на перший план найскладніші ризики наступних років: людство може створювати розум, який не зможе повністю зрозуміти чи контролювати. Для фахівців, які стежать за перетином ШІ та криптовалют, це обов’язкова до прочитання стаття про втрату контролю над системою та межі захисту.

На більш високому рівні прогрес машинного інтелекту підтримується зростанням обчислювальних потужностей. Приблизно у 2017 році ми в OpenAI глибоко усвідомили це. Тоді ми помітили, що кілька дослідницьких проектів отримували постійну віддачу після масштабування. Тому ми почали прагнути отримати набагато більше обчислювальних потужностей, ніж планували, і все більше зосереджували дослідження на кількох найбільш масштабованих напрямках. Ми вірили, що це єдиний спосіб залишатися на передовій AI-досліджень та впливати на розвиток AGI.

У процесі з’явилися нові алгоритми, а також креативні ідеї від команд та окремих дослідників. Я загалом сприймаю це як відкриття на шляху розширення. Наука глибокого навчання все ще перебуває на початковій стадії, і значущі алгоритмічні досягнення часто пов’язані з доступністю обчислювальних ресурсів. Якщо розглянути перспективу кількох років, то ШІ постійно стає розумнішим завдяки масштабуванню на більших комп’ютерах.

Крім того, як і передбачав Рей Курцвейл наприкінці XX століття, зараз ми перебуваємо в моменті історії обчислень, коли машинний інтелект починає перевершувати людину на трансформаційному рівні.

Штучний інтелект більше нагадує щось, що «зростає», ніж щось, що проектується. З першої принципу він є результатом безлічі повторень однієї простої оптимізаційної процедури на неймовірно великих обчислювальних потужностях. Це створило надзвичайно складну систему, яка працює через абстрактні концепції і здатна імітувати деякі аспекти людської поведінки. Ми можемо виявити різні дрібні механізми, що виникають всередині цієї системи, і цей процес схожий на нейронауку. Як і в нейронауці, її загальна поведінка виходить за межі того, що ми можемо повністю зрозуміти.

Дослідження штучного інтелекту на основі глибокого навчання в значній мірі є експериментальною наукою. Ми вкладаємо багато зусиль у створення принципових алгоритмів та формулювання перевіряємих передбачень. Але в основі наші масштабні тренувальні запуски є експериментами, і іноді результати виявляються несподіваними. Крім того, зі зростанням здатностей систем результати стають все складнішими для інтерпретації.

Ще складніше те, що поточні алгоритми зазвичай дозволяють розвивати ті здібності, які легше виміряти, швидше, ніж ті, які важко кількісно оцінити. Ми багато часу витрачаємо на розуміння того, як здібності узагальнюються, і які навички слід пріоритизувати, оскільки саме вони стануть найважливішими у найближчі роки. Наприклад, ми вважаємо, що за допомогою додаткових зусиль ми можемо зробити модель сильнішою в математичних дослідженнях. Але ми не обрали цей напрямок як пріоритетний, оскільки нашою найбільш терміновою метою є рекурсивне самовдосконалення та автоматизоване дослідження вирівнювання. Про це я зупинюся детальніше пізніше.

Інтелект, отриманий шляхом розширення глибокого навчання, не можна безпосередньо порівнювати з людським інтелектом. Щоб мати значний вплив у цьому реальному світі — будь то дуже корисний, чи дуже небезпечний — ШІ не повинен відповідати чи перевершувати всі здібності людини. Йому достатньо перевершити людину в достатній кількості здібностей. І коли він постійно перевершує людину все більше вимірів, ми все складніше зможемо точно зрозуміти, наскільки він сильний.

Оскільки машинний інтелект походить із процесів, які корінно відрізняються від людського інтелекту, ми не можемо припускати, що він за замовчуванням буде дотримуватися людських принципів або узагальнюватиме їх подібно до людини. Центральним питанням досліджень ШІ є проблема відповідності: забезпечити, щоб ШІ «намагався робити правильні речі відповідно до людських стандартів».

Щоб полегшити організацію реальних напрямків досліджень, я вважаю корисним розрізняти вирівнювання цілей і вирівнювання цінностей.

Цільова збігненість приблизно полягає в тому: «Чи прагне ШІ до досягнення цілей, що перед ним поставлені?» Вона може включати виконання ієрархії інструкцій, здатність спілкуватися та співпрацювати з людьми, спроби розуміти людські цілі тощо. Такий напрямок надзвичайно важливий на практиці.

Відповідність цінностям — це більш глибока властивість моделі. Це здатність дотримуватися високих принципів та узагальнювати їх; навіть у випадках нечітких або суперечливих цілей або при перебуванні в незнайомих, ворожих умовах, вона здатна діяти «раціонально». Відповідна ШІ має бути чесною, порядною та любити людей.

Звичайно, межа між вирівнюванням цінностей і вирівнюванням цілей може бути нечіткою. Щоб справді ставитися до цілей, потрібно намагатися зрозуміти наміри та цінності, що лежать у їх основі. Проте, загалом, коли я говорю про довгострокову важливість досліджень щодо вирівнювання, я маю на увазі вирівнювання цінностей.

Основна виклика збігання ШІ полягає в узагальненні. Зі зростанням розуму машин вони починають працювати з більш високорівневими поняттями та опиняються в середовищах, що все більше відрізняються від тих, у яких вони навчалися. Вони можуть невдало узагальнити цінності, які їм були передані та підсилені під час навчання, на нові ситуації. Крім того, важко передбачити, як вони поведуть себе. Ще складніше те, що екосистема, в якій використовуються ШІ, змінюється дуже швидко. Наприклад, сьогодні навчені ШІ повинні здатні стійко взаємодіяти з різноманітними іншими ШІ. Найважливіше — ми повинні забезпечити, щоб майбутні ШІ постійно підтримували людські цінності, незалежно від того, чи вважають вони себе під наглядом людей.

Наразі існують дві основні категорії методів зв’язування, що використовуються на практиці.

Перший підхід — це підтримка поведінки, що відповідає цілеспрямованому підсиленню навчання. Поведінка моделі оцінюється, зазвичай штучним інтелектом, щоб визначити, чи вона відповідає заданій моделі переваг, «нормам» або «конституції», і за це надається відповідна винагорода. Цей підхід дуже ефективний у загальному випадку і є ключовою частиною сучасних систем штучного інтелекту-асистентів. На жаль, він також може бути вразливим і сильно залежить від ступеня охоплення навчання та здатності моделі узагальнювати ситуації, з якими вона зустрічалася під час навчання. Наприклад, у випадку з OpenAI та Hugging Face агенти дотримувалися межі, не проводячи соціальної інженерії щодо людей. Однак вони явно не уникли інших дій, що виходять за межі, які суперечать цінностям, яким їх навчали в інших сценаріях.

Ці методи вже принесли значні результати. Наша сьогоднішня модель у великий мірі корисна, безпечна й демонструє деякі захоплюючі, близькі до відповідності цінностям поведінки. Але вони ще не дають нам певності, що ці обмеження цінностей залишаться ефективними у системах, здатність яких значно перевищує людську.

Зі зростанням здатностей AI-систем нам потрібно, щоб навчання зі збігом цінностей передувало навчанню здатностей. Але тут існує дуже фундаментальна проблема: чим сильнішою є система, тим більше ймовірність, що вона сама знайде вразливості, уникне тестування або приховає свої дії. Вони можуть навчитися виглядати так, ніби їхні дії відповідають людським цінностям у тестовому середовищі, а потім у реальному середовищі виконувати зовсім інші дії. Це називається «прихованим збігом».

А якщо ми спробуємо примусово обмежити їх за допомогою більш сильних засобів, вони можуть розвинути опір і обман, або сприйняти наші втручання як частину світу, що призведе до протилежних інтуїції реакцій. Під час спроб керувати системою, розумнішою за нас, ми природно стикаємося з асиметрією.

Зі зростанням потужності розумів, які ми не можемо повністю зрозуміти, ми змушені покладатися на інший інструмент: моніторинг. Якщо ми зможемо постійно спостерігати за внутрішньою діяльністю ШІ, можливо, зможемо виявити сигнали ще до того, як він перетне певні межі.

У OpenAI ми постійно розвиваємо дослідження з інтерпретованості, намагаючись відкрити «чорний ящик» нейромереж. Ці зусилля вже принесли певні результати. Зараз ми здатні виявляти певні представлення, які надають суттєві підказки щодо внутрішнього функціонування моделей. Однак сучасні дослідження з інтерпретованості все ще досить грубі, особливо щодо розуміння абстрактних міркувань у великих моделях. Розрив між нашою здатністю спостерігати внутрішні процеси моделей і їхньою власною складністю міркувань постійно збільшується.

Це мене особливо хвилює. Проблема узагальнення моніторингу така ж серйозна, як і проблема узагальнення відповідності. Якщо система краще за нас вміє приховувати себе, наші засоби моніторингу важко забезпечити від обходу. Ми можемо вважати модель безпечною, бо бачимо багато показників, що виглядають добре, тоді як насправді модель просто оптимізує ці показники. Вона навчиться приховувати цілі, яких ми не хочемо, або приховувати те, що вона робить.

Якщо модель почне продвигати власне вдосконалення — що, на мою думку, дуже ймовірно станеться протягом наступних кількох років — їй знадобляться навички планування, обману та самозахисту. Ці навички можуть виникнути як наслідок тиску цілей, які ми для неї встановили, так і через спроби діяти у проміжках між спостереженням. Щоб запобігти розвитку таких рис, нам потрібно або вирішити проблему відповідності цінностей, або забезпечити, щоб наші засоби спостереження встигали за кожним кроком її еволюції. Наразі обидва ці аспекти значно відстають.

Ми ще не маємо задовільної теорії узагальнення, і здається, що її важко створити в короткостроковій перспективі, принаймні без допомоги потужнішого ШІ. Тому зараз наша здатність емпірично перевіряти технології вирівнювання на практиці може бути важливішою, ніж самі технології вирівнювання.

Основним ставкою OpenAI тут завжди було спостереження за ланцюгом міркувань. Воно ґрунтується на привабливій ідеї масштабування: велика частина здатностей моделі походить із мовної процедури міркувань — ланцюга міркувань. Якщо ми масштабно оптимізуємо результати цього процесу, але не контролюємо сам процес, то ланцюг міркувань не має прямих мотивів приховувати будь-які невідповідні ідеї або цілі під час навчання. Це не означає, що модель навчиться екстерналізовувати невідповідні схильності, які не залежать від ланцюга міркувань; але це дозволяє нам точно спостерігати за підвищенням здатностей, що виникають через міркування.

Під час розробки моделей виведення ми зрозуміли потенційну важливість моніторингу ланцюжків міркувань. Коли ми випустили o1‑preview, ми свідомо спроектували продукт так, щоб приховати ланцюжки міркувань, щоб захистити їх від тиску нагляду у довгостроковій перспективі. У подальшій розробці ми намагалися підтримувати правило невикористання нагляду за процесом виведення. Моніторинг ланцюжків міркувань став надзвичайно важливим інструментом у нашому дослідженні того, як моделі узагальнюють дані з розподілу навчання, дозволяючи нам не лише спостерігати та аналізувати поведінку моделей, а й їхні внутрішні процеси.

Під час дослідження моделей Astra цей інструмент залишається надзвичайно важливим. Однак, на жаль, наші оцінки показують, що наша здатність залежати від моніторингу ланцюга міркувань поступово знижується. Це результат дії кількох факторів.

Сучасні інференсні моделі використовуються в більш складних середовищах, ніж o1‑preview; їхній інференс все більше переплітається зі спілкуванням з людьми, іншими ШІ та використанням інструментів. Багато з цих взаємодій повинні підлягати нагляду, що розмиває межі, які ми хочемо зберегти.

Штучний інтелект стає все кращим у міркуванні та керуванні власним процесом міркування.

Зі зростанням продуктивності передтренування ми також бачимо, що моделі стають розумнішими, навіть без використання мовленнєвого міркування.

Ці виклики не є непереборними. Я сподіваюся, що зможемо розробити інтервенції, які підвищать спостережуваність ланцюжків міркувань моделей, наприклад, краще зрозуміти взаємодію між різними цілями оптимізації та різними формами обчислень, які модель використовує під час тестування. Я також вважаю, що поєднання ідей спостереження ланцюжків міркувань із спостереженням активацій матиме велику цінність — масштабне навчання моніторів, які безпосередньо мають доступ до внутрішнього стану мережі, наприклад, методи «сповіді». Ми активно просуваємо ці ідеї. Однак я передбачаю, що прогрес у сфері загального ШІ все більше буде обмежуватися довірою до моніторингу.

Щоб впоратися з такою ситуацією, я вважаю, що нам потрібна масштабована оборона, яка йде в ногу зі швидкістю розвитку ШІ. Людям неможливо вручну перевіряти поведінку кожної нової моделі. Наші поточні методи оцінки та червоних команд ще ефективні для сучасних моделей, але зі зростанням здатностей систем ці методи швидко досягнуть межі.

Нам потрібні AI-системи, які можуть автоматично виявляти нові ризики. Ці системи захисту також повинні бути достатньо розумними, щоб виявляти підозрілу поведінку в системах, які розумніші за них. Це створює рекурсивний виклик: захисники повинні рости з тією ж швидкістю, що й системи. Ми перебуваємо на точці, де безпека та здатність стають все важче розділити. Щоб зберегти безпеку, нам, можливо, доведеться постійно підвищувати здатність AI-захисту, що, в свою чергу, прискорить загальний ріст здатності AI.

Це тривожний цикл. Ми продовжуємо підвищувати здібності для безпеки, а підвищення здібностей призводить до більшого ризику. Справжнім виходом може бути: знайти спосіб стабільно забезпечити вирівнювання цінностей для надійного узагальнення, перш ніж досягнемо точки втрати контролю. Але я повинен визнати, що ми дуже далеко від цієї мети.

Ось чому я схиляюся до того, щоб покласти сподівання на майбутнє на таку комбінацію: дослідження технічного відповідності + автоматизовані системи захисту + широкі інституційні втручання + пильну увагу громадськості та інституцій. Одиничні заходи недостатні. Ми не можемо покладатися лише на самоконтроль якоїсь компанії чи лабораторії.

Найсильнішим аргументом на користь продовження швидкого навчання більш розумних моделей є необхідність створення систем захисту проти небезпек, що походять від інших ШІ.

Однією з чітко визначених ризиків, що обговорювалися протягом цього року, є кібербезпека: здатність моделей проникати та втікати з комп’ютерних систем перевищує людські можливості. Це значно розширює діапазон ризиків, пов’язаних з ШІ: агенти зможуть отримувати доступ до будь-яких систем, крім найбільш захищених інфраструктур, і безпосередньо впливати на велику кількість речей у світі, навіть без фізичного тіла. Зараз ми перебуваємо в вузькому вікні, коли потрібно використовувати найкращі доступні моделі для значного підвищення безпеки ключових систем.

Зв’язані з ШІ ризики, на жаль, продовжать зростати. Інтелектуальний агент, який має дуже високі здібності, чітко навчений і інструктований виконувати шкідливі дії, створює новий тип небезпеки; він, ймовірно, вийде за межі намірів оператора і узагальнить ще більш екстремально шкідливу поведінку. Зі зростанням автономності ШІ межа між зловживанням і автономною неузгодженою поведінкою стає розмитою. Ми можемо звикнути сприймати ШІ як інструмент, але деякі агенти будуть прагнути до власних цілей. Вони знайдуть способи співпрацювати з людьми через переговори, обман або шантаж.

Крім того, існують ризики, пов’язані з новими технологіями, які можуть виникнути завдяки ШІ, наприклад, інженерні патогени.

Нам знадобляться потужні та збалансовані ІС для захисту: захист інфраструктури, реальний захист від неконтрольованих агентів та розробка абсолютно нових захисних механізмів. Це стане одним із основних напрямків роботи OpenAI.

Тим часом, навіть враховуючи невизначеність, пов’язану з очікуваним широким розвитком ШІ, та необхідність створення систем захисту, ми не можемо використовувати це як виправдання для безроздільних дій. Коли люди справді зрозуміють серйозність наслідків, ідея «рухатися вперед за будь-яку ціну» здасться абсурдною.

Машинний інтелект відіграє все більш важливу роль у процесі власного розвитку — це необхідний висновок постійного технічного прогресу. Якщо ШІ продовжуватиме розвиватися, машинна рекурсивна самовдосконалення стане ядром майбутніх наукових відкриттів.

Автоматизоване AI-дослідження — це більш радикальна форма розширення інтелекту за рахунок обчислювальних потужностей; звичайно, як частина цього, AI також покращуватиме саму обчислювальну базу. Подібно до розширення, ми зосереджуємо дослідження OpenAI на рекурсивному самовдосконаленні, бо вважаємо, що це єдиний шлях залишатися на передовій AI-досліджень.

Я хочу підкреслити, що вищевказане не означає, що я вважаю за доцільне, щоб наукове співтовариство колективно прискорювало дослідження глибокого навчання, особливо в короткостроковій перспективі. Але я вважаю, що поточний шлях веде саме в цьому напрямку, і нам усім потрібно свідомо вирішити, як продовжувати рух далі. У наших руках є два основні механізми: по-перше, керувати цим процесом, посилюючи вирівнювання та моніторинг під час розвитку ШІ та забезпечуючи постійну участь людини; по-друге, за потреби координувати зниження темпів майбутніх розробок, щоб поступово збудувати довіру до цих заходів.

Наразі найкращим шляхом вперед я бачу поєднання обох.

Конкретний прогрес у вирівнюванні та моніторингу, як правило, глибоко переплетений із загальним прогресом у галузі ШІ. Добрими прикладами є підсилювальне навчання на основі людських відгуків, яке було ключовим для навчання ранніх ШІ-асистентів, а також згаданий раніше моніторинг ланцюжків міркувань, який став можливим завдяки прогресу в моделях міркувань. Ми повинні спрямувати все більш автоматизовані дослідницькі процеси на розробку таких нових ідей, алгоритмів і теорій, а також поступово створювати безпечні аргументи для потужніших ШІ.

Розширені системи ШІ повинні діяти в межах нашої впевненості у безпеці. Ми повинні перетворити такі зобов’язання, як Preparedness Framework або Responsible Scaling Policy, на постійні межі безпеки під час розробки, які мають широко застосовуватися. Ці межі можуть забезпечуватися мережею незалежних аудиторських організацій, урядовими агентствами чи міжнародними організаціями.

Основний виклик автоматизованого AI-дослідження — не «дістатися туди», а дістатися туди певним чином: забезпечити, щоб люди залишалися в процесі постійного вдосконалення і залишали майбутнє в руках людини.

Я не можу передбачити точний час, але здається, що ми швидко наближаємося до ери, коли ШІ зможе продовжувати розвивати себе у кількох ключових аспектах. Це означає, що ми можемо дуже швидко потрапити до етапу рекурсивного самовдосконалення.

Усередині OpenAI ми вже почали перерозподіляти дослідницькі пріоритети, зосереджуючи більше ресурсів на вирівнюванні та захисті, ніж на чистому розширенні здібностей. Саме тому я підкреслюю, що ми не будемо сліпо прагнути до найбільших моделей, а замість цього повинні бути готові в окремих випадках унілатерально призупинити роботу.

Однак ці рішення не можуть залишатися в руках лише кількох внутрішніх осіб компаній. Уряди та міжнародна спільнота повинні втрутитися, перш ніж ризики стануть незворотними. Це включає створення механізмів моніторингу передових тренувальних процесів, обов’язкового аудиту з боку третіх осіб та міжнародних угод, що встановлюють пороги здатностей.

Я не впевнений, чи ці заходи зможуть бути реалізовані вчасно. Іноді я відчуваю розчарування, бо наші заходи безпеки завжди відстають від здатностей, а не попереджають їх. Здається, ми постійно намагаємося наздогнати. Але я все ще вважаю, що є підстави для оптимізму: у ту ніч 2023 року ми лише нечітко відчували цю можливість, а сьогодні вона настільки очевидна, що може бути відкрито обговорена. Це вже є прогресом.

Я не буду притворятися, що знаю всі відповіді. Ми створюємо щось, що фундаментально відрізняється від людського розуму, і цей розум може швидко стати сильнішим за нас. Це думка, що викликає скромність, але одночасно дає нам можливість: сформувати його з використанням наших найкращих цінностей.

Якщо ми зробимо це добре, це буде найвеличнішим досягненням людства. Якщо ні — це може бути невідновна невдача.

Чи зможемо ми зберегти майбутнє в руках людини — це питання, яке буде вирішено в найближчі роки.

Як ми недавно розглядали разом із Семом, робота, яку OpenAI пріоритизує, спрямована на досягнення трьох полюсних цілей:

Пройти наступний етап розвитку ШІ, створюючи автоматизованих AI-дослідників, ітеративно вирішуючи проблеми зі збігом та шукаючи способи, які допоможуть людям залишатися в циклі самовдосконалення.

Відчуйте науковий прогрес і економічний ріст, які надають надзвичайно розумні машини.

Дайте кожному можливість мати власний AGI.

Цей текст зосереджений лише на першому пункті, оскільки я вважаю його зараз найбільш терміновим. Однак я глибоко сподіваюся та вдячний за переваги, які принесуть подальші технічні досягнення. Майбутній вирівняний ШІ може просувати науку, розробляти нові ліки та забезпечувати широке матеріальне добробут. Дружній та чесний ШІ може допомогти людям подолати складності життя та реальне покращити їхнє щастя та задоволення. OpenAI вклали величезне зусилля для досягнення цих переваг. Поточним прикладом, яким я пишаюся та який користується моїми близькими, є наша глибока робота над наданням ChatGPT здатності надавати інформацію про здоров’я.

Незважаючи на те, наскільки перспективними є довгострокові перспективи ШІ, наша основна увага повинна бути зосереджена на майбутніх роках. Ми переживаємо перехідний етап до світу, де існують надзвичайно розумні машини, і повинні забезпечити, щоб цей перехід був корисним для людства. У світі, де більшість завдань можуть виконуватися ШІ, нам потрібно знайти способи зберегти людську агентність та закріпити власну внутрішню цінність як людини. Необхідно запобігти надмірній концентрації влади: те, що раніше вимагало тисяч експертів, у майбутньому може бути досягнуто лише за допомогою кількох людей, що керують великою комп’ютерною системою. Також потрібно забезпечити, щоб людство завжди залишалося у керівництві майбутнім і не було відкинуте назад через неперевірений прогрес, спричинений зовнішнім інтелектом, що перевершує нас.

На даний момент я вважаю, що жодна лабораторія не досягла достатнього рівня вирішення проблем зв’язування та моніторингу, щоб підтримувати відповідальне масштабування з максимальною швидкістю протягом довшого часу. Я очікую і сподіваюся, що добровільне уповільнення стане нормою, доки не буде встановлено спільний рівень безпеки. Я також вважаю, що міжнародна координація щодо майбутнього розвитку ШІ повинна стати пріоритетом номер один для урядів усіх країн.

1 Це включає розширення ігор, робототехніки, а найважливішим з погляду пізнішого аналізу — розширення рекурентних мереж для моделювання мови, що поклало основу для досліджень серії GPT.

Другою причиной цього дизайну є запобігання дистиляції. Однак протягом усього процесу розробки ми завжди визначали як свою головну пріоритетну задачу збереження моніторованості ланцюга міркувань.