Звіт New York Times розкриває внутрішні сумніви OpenAI щодо надійності Сема Альтмана

Автор: Сяобін, Shenchao TechFlow

Осінню 2023 року головний науковець OpenAI Ілля Суцкевер сидів за комп’ютером і завершив 70-сторінковий документ.

Цей документ укладено на основі записів повідомлень у Slack, архівів комунікацій з відділом кадрів та протоколів внутрішніх зустрічей, щоб відповісти на одне питання: чи можна довіряти Сему Альтману, людині, яка керує, можливо, найбільш небезпечними технологіями в історії людства?

Відповідь Суцкевера, написана в першому рядку першої сторінки файлу, заголовок списку: «Сем проявляє постійний шаблон поведінки…»

Перше: брехня.

Сьогодні, через два з половиною роки, розслідувальні журналісти Ронан Фарр і Ендрю Маранц опублікували у «Нью-Йоркері» наддовгу розслідувальну статтю. Вони провели інтерв’ю з понад 100 учасниками, отримали внутрішні меморандуми, які раніше не були публічними, а також понад 200 сторінок особистих нотаток Даріо Амодеї, засновника Anthropic, з часів його роботи в OpenAI. Ці документи складають історію, яка набагато гірша за ту, що відбувалася в 2023 році: як OpenAI поступово перетворився з некомерційної організації, створеної для безпеки людства, на комерційну машину, майже кожен захисний бар’єр якої був знищений однією людиною.

Висновок Амодеї в нотатках був більш прямолінійним: «Проблема OpenAI — це сам Сем».

Щоб зрозуміти значущість цього матеріалу, спочатку треба пояснити, наскільки унікальна ця компанія — OpenAI.

У 2015 році Альтман та група еліт із Сіліконової долини зробили те, чого майже не було в історії бізнесу: вони використали некомерційну організацію для розробки, можливо, найпотужнішої технології в історії людства. Обов’язки ради були чітко визначені: безпека має пріоритет над успіхом компанії, навіть над її існуванням. Простими словами, якщо коли-небудь штучний інтелект OpenAI стане небезпечним, рада зобов’язана буде особисто закрити цю компанію.

Вся архітектура базується на припущенні: той, хто керує AGI, повинен бути надзвичайно чесною особою.

А що, якщо ви помилилися?

Серцем розслідування був той 70-сторінковий документ. Суцкевер не грав у офісну політику, він — один із найкращих світових вчених у галузі ШІ. Але до 2023 року він все більше переконувався в одному: Алтман постійно брехав керівникам і раді директорів.

Конкретний приклад: у грудні 2022 року Альтман на засіданні ради директорів запевнив, що кілька функцій майбутнього GPT-4 вже пройшли безпековий огляд. Член ради Тонер попросив переглянути документи про схвалення, і виявив, що дві найбільш спірні функції (користувацька доналаштування та розгортання персонального асистента) взагалі не отримали схвалення від безпекової панелі.

Ще більш дивні речі відбувалися в Індії. Один із співробітників повідомив іншому члену ради про «порушення»: Microsoft випустила ранню версію ChatGPT в Індії до завершення необхідного безпекового огляду.

Сутскевер також зафіксував у своїх нотатках ще одну річ: Алтман сказав колишньому CTO Мірі Мураті, що процес схвалення безпеки не є таким вже важливим, оскільки головний юрист компанії вже схвалив його. Мураті звернулася до головного юриста для підтвердження, і той відповів: «Я не знаю, звідки Сем отримав це враження.»

Документи Суцкевера нагадують обвинувальний акт прокурора. Більше ніж 200 сторінок нотаток Амодеї нагадують щоденник свідка, написаний на місці події.

Під час роботи на посаді керівника безпеки в OpenAI Амодеї бачив, як компанія під тиском бізнесу поступово відступала. У своїх нотатках він зафіксував ключовий деталь інвестиційної угоди Microsoft у 2019 році: він додав до статуту OpenAI положення про «злиття та підтримку», згідно з яким, якщо інша компанія знайде безпечніший шлях до AGI, OpenAI має припинити конкуренцію і допомогти цій компанії. Це була найважливіша гарантія безпеки, яку він бачив у цій угоді.

Під час швидкого підписання угоди Амодеї виявив один факт: Microsoft отримав право вето на цей пункт. Що це означає? Навіть якщо коли-небудь якийсь конкурент знайде кращий шлях, Microsoft одним словом може припинити зобов’язання OpenAI щодо допомоги. Умова ще на папері, але з дня підписання вона стає папером.

Пізніше Амодеї покинув OpenAI і заснував Anthropic. Конкуренція між цими двома компаніями ґрунтується на фундаментальній різниці в поглядах на те, як слід розробляти ШІ.

У матеріалі є один деталь, який після прочитання залишає холодок у спині — щодо «надзвичайної команди з вирівнювання» OpenAI.

У середині 2023 року Альтман надіслав електронного листа аспірантові з Берклі, який досліджував «дезорієнтоване відповідність» (коли ШІ під час тестування веде себе прибороно, але після розгортання діє за своїм сценарієм), і сказав, що дуже хвилюється через цю проблему і розглядає можливість створення глобальної наукової премії на 1 мільярд доларів США. Аспірант був надихнутий, взяв перерву у навчанні та приєднався до OpenAI.

Потім Альтман змінив думку: замість зовнішніх нагород він створив усередині компанії "Команду суперзгідності". Компанія офіційно оголосила, що виділить цій команді "20% існуючих обчислювальних потужностей", потенційна вартість яких перевищує 1 мільярд доларів США. Оголошення було сформульовано надзвичайно серйозно: якщо проблему згідності не вдасться вирішити, AGI може призвести до "позбавлення людства влади або навіть вимирання людства".

Джан Лейке, призначений лідером цієї команди, пізніше сказав журналістам, що саме це обітниця була дуже ефективним інструментом утримання талантів.

А як щодо реальності? Чотири людини, які працювали в цій команді або тісно з ними спілкувалися, сказали, що фактично виділено лише 1–2% загальної потужності компанії, і це були найдавніші апаратні засоби. Пізніше цю команду було розформовано, а місія залишилася невиконаною.

Коли журналісти вимагали інтерв’ю зі співробітниками OpenAI, які займаються дослідженнями у сфері «екзистенційної безпеки», реакція прес-служби компанії була дивною: «Це не є … реальним».

Альтман сам був спокійний. Він сказав журналістам, що його "інтуїція не зовсім збігається з багатьма традиційними аспектами безпеки ШІ", але OpenAI все ще здійснюватиме "проекти, пов’язані з безпекою, або принаймні ті, що мають до неї відношення".

Стаття The New Yorker — це лише половина поганих новин цього дня. Того ж дня The Information оприлюднила ще одну потужну новину: між CFO OpenAI Сарою Фріар та Алтманом виникли серйозні розбіжності.

Фріар таємно сказала колегам, що вважає, що OpenAI ще не готова до виходу на ринок цього року. Дві причини: надто великий обсяг процедурних та організаційних завдань, які потрібно виконати, і надто високий фінансовий ризик, пов’язаний з обіцянкою Altman витратити 600 мільярдів доларів США на обчислювальні потужності за 5 років. Вона навіть не впевнена, чи зможе зростання доходів OpenAI витримати ці обіцянки.

Але Алтман хоче вийти на IPO у четвертому кварталі цього року.

Ще дивніше те, що Фріар більше не звітує безпосередньо Алтману. З серпня 2025 року вона почала звітувати Фіджі Сімо (генеральному директору застосункових бізнесів OpenAI). А Сімо тиждень тому відбула у відпустку через проблеми зі здоров’ям. Подумайте про цю ситуацію: компанія, яка прагне до IPO, де генеральний директор і головний фінансовий директор мають фундаментальні розбіжності, головний фінансовий директор не звітує генеральному директору, а керівник головного фінансового директора перебуває у відпустці.

Навіть високопосадовці Microsoft не можуть більше це терпіти, кажучи, що Altman "спотворює факти, порушує обіцянки та постійно скасовує вже укладені угоди". Один із керівників Microsoft навіть сказав: "Я вважаю, що існує певна ймовірність, що його врешті-решт запам’ятають як шахрая рівня Берні Мейдоффа чи SBF".

Бувший член ради директорів OpenAI описав журналістам дві риси характеру Алтмана. Цей вислів може бути найбільш жорстким портретом особистості у всьому матеріалі.

Цей директор сказав, що у Алтмана є надзвичайно рідкісна комбінація рис: він у кожній особистій розмові дуже хоче сподобатися та бути улюбленцем іншої людини. Водночас він майже соціально-патологічно байдужий до наслідків, які можуть виникнути від обману інших.

Дві риси, що зустрічаються разом у одній особі, надзвичайно рідкісні. Але для продавця це найдосконаліший дар.

У статті є добре порівняння: Джобс був відомий своїм «полем реальності», яке змогло переконати світ у своїй ідеї. Але навіть Джобс ніколи не казав клієнтам: «Якщо ти не купиш мій MP3-плеєр, твої близькі помруть».

Альтман казав подібні речі про ШІ.

Якби Алтман був просто генеральним директором звичайної технологічної компанії, ці звинувачення були б лиш елегантним бізнес-скандалом. Але OpenAI — не звичайна.

За власними словами, вона розробляє, можливо, найпотужнішу технологію в історії людства, яка може перетворити глобальну економіку та ринок праці (OpenAI щойно опублікувала політичний білий папір щодо проблеми безробіття, спричиненого ШІ), а також може бути використана для створення масштабних біохімічних зброї або кібератак.

Всі безпекові бар’єри втратили зміст. Засновникова некомерційна місія поступилася місцем прагненню до IPO. Колишній головний науковець і колишній відповідальний за безпеку вважають генерального директора «ненадійним». Партнери порівнюють генерального директора з SBF. У таких умовах на підставі чого цей генеральний директор може самотужки вирішувати, коли публікувати моделі ШІ, що можуть змінити долю людства?

Гарі Маркус (професор Штучного інтелекту в Нью-Йоркському університеті, довголітній прихильник безпеки ШІ) після прочитання статті написав: якщо майбутня модель OpenAI зможе створити масштабні біохімічну зброю або здійснити катастрофічну кібератаку, ви справді впевнені, що хочете дозволити Алтману самостійно рішати, публікувати її чи ні?

Відповідь OpenAI на статтю The New Yorker була стислою: «Більша частина цієї статті перекладає вже опубліковані події, використовуючи анонімні твердження та вибіркові історії — джерела, очевидно, мають особисті цілі».

Спосіб відповіді Алтмана: не реагувати на конкретні звинувачення, не заперечувати справжність меморандуму, а лише ставити під сумнів мотиви.

Десятиліття OpenAI, розповідь у вигляді сценарію:

Група ідеалістів, які переживали за ризики ШІ, створили місійно орієнтовану некомерційну організацію. Організація здійснила видатний технічний прорив. Прорив привернув величезні капітали. Капітали потребували прибутку. Місія почала відступати. Команду безпеки розформували. Тих, хто ставив запитання, видалили. Некомерційна структура була перетворена на комерційну організацію. Рада директорів, яка раніше мала повноваження закрити компанію, тепер заповнена союзниками генерального директора. Компанія, яка колись обіцяла виділити 20% потужності для захисту безпеки людства, зараз має прес-службу, яка каже: «Це не існує».

Головний герой історії, понад сто очевидців дали йому однакову мітку: «не обмежений правдою».

Він готується провести IPO цієї компанії з оцінкою понад 850 мільярдів доларів США.

Інформація в цій статті зібрана з публічних матеріалів таких ЗМІ, як The New Yorker, Semafor, Tech Brew, Gizmodo, Business Insider, The Information.