Отчет New York Times раскрывает внутренние сомнения OpenAI в надежности Сэма Альтмана

Автор: Сяобин, Shenchao TechFlow

Осенью 2023 года главный научный сотрудник OpenAI Илья Суцкевер сидел за компьютером и завершил документ объемом 70 страниц.

Этот документ составлен на основе записей сообщений в Slack, архивов коммуникаций с отделом кадров и протоколов внутренних встреч, чтобы ответить на один вопрос: можно ли доверять Сэму Альтману, человеку, управляющему, возможно, самой опасной технологией в истории человечества?

Ответ Сутскевера написан в первой строке первой страницы файла, заголовок списка: "Сэм проявляет последовательную модель поведения…"

First: Lie.

Сегодня, спустя два с половиной года, investigative-журналисты Ронан Фарр и Эндрю Маранц опубликовали в «Нью-Йоркере» длинное расследование. Они провели более 100 интервью, получили ранее не публиковавшиеся внутренние меморандумы и более 200 страниц личных заметок Дарио Амодеи, основателя Anthropic, сделанных во время его работы в OpenAI. История, сложенная из этих документов, намного более ужасающая, чем та «борьба за власть» 2023 года: как OpenAI постепенно превратилась из некоммерческой организации, созданной ради безопасности человечества, в коммерческую машину, причем почти каждый барьер безопасности был разрушен руками одного и того же человека.

Вывод Амодеи в заметках более прямолинеен: «Проблема OpenAI — это сам Сэм».

Чтобы понять значимость этого отчета, нужно сначала объяснить, насколько уникальна компания OpenAI.

В 2015 году Альтман и группа венчурных предпринимателей из Кремниевой долины совершили действие, почти не имеющее аналогов в истории бизнеса: они использовали некоммерческую организацию для разработки технологии, которая может стать самой мощной в истории человечества. Обязанности совета директоров были четко прописаны: безопасность имеет приоритет над успехом компании и даже над ее выживанием. Проще говоря, если однажды ИИ от OpenAI станет опасным, совет директоров обязан будет лично закрыть эту компанию.

Вся архитектура основана на предположении, что человек, управляющий AGI, должен быть чрезвычайно честным.

А что, если вы ошиблись с ставкой?

Суть статьи — это 70-страничный документ. Сутскевер не занимается офисной политикой, он один из ведущих мировых ученых в области ИИ. Но к 2023 году он все больше был уверен в одном: Альтман постоянно лгал топ-менеджерам и совету директоров.

Конкретный пример: в декабре 2022 года Альтман заверил членов совета директоров на заседании, что несколько функций предстоящего GPT-4 уже прошли безопасностную проверку. Член совета директоров Тонер запросил документы об одобрении и обнаружил, что две из самых спорных функций (пользовательская настройка и развертывание персонального помощника) вообще не получили одобрения от безопасностной панели.

Еще более абсурдная ситуация произошла в Индии. Один сотрудник сообщил другому члену совета директоров о «нарушении»: Microsoft выпустила раннюю версию ChatGPT в Индии до завершения необходимого безопасностного аудита.

Сутскевер также записал в заметках еще один факт: Алтман сказал бывшему CTO Мире Мурати, что процесс одобрения безопасности не так важен, так как генеральный юрисконсульт компании уже одобрил его. Мурати обратилась к генеральному юрисконсульту для подтверждения, и тот ответил: «Я не знаю, откуда Сэм взял это впечатление.»

Файлы Сутскевера напоминают обвинительный акт прокурора. Более 200 страниц заметок Амодеи похожи на дневник свидетеля, записанный на месте преступления.

В те годы, когда Амодеи был ответственным за безопасность в OpenAI, он наблюдал, как компания постепенно отступает под давлением коммерческих интересов. В своих заметках он зафиксировал ключевую деталь инвестиций Microsoft в 2019 году: он включил в устав OpenAI положение о «слиянии и содействии», согласно которому, если другая компания найдет более безопасный путь к AGI, OpenAI должна прекратить конкуренцию и помочь этой компании. Это была самая важная для него гарантия безопасности во всей сделке.

При быстрой подписи Амодей обнаружил один факт: Microsoft получила право вето на этот пункт. Что это значит? Даже если когда-нибудь какой-либо конкурент найдет лучший путь, Microsoft одним словом может закрыть обязательство OpenAI по оказанию помощи. Условие еще на бумаге, но с момента подписания оно становится бесполезным.

Позже Амодеи покинул OpenAI и основал Anthropic. Конкуренция между двумя компаниями основана на фундаментальных разногласиях по поводу того, как следует разрабатывать ИИ.

В отчете есть один деталь, после прочтения которого становится не по себе, — речь идет о «супервыравнивающей команде» OpenAI.

В середине 2023 года Алтман связался по электронной почте с аспирантом из Беркли, изучавшим «дезориентированную согласованность» (когда ИИ ведет себя покорно при тестировании, но действует по-своему после развертывания), и сказал, что крайне обеспокоен этой проблемой и рассматривает возможность учреждения глобальной исследовательской премии в 1 миллиард долларов. Аспирант был вдохновлен, взял академический отпуск и присоединился к OpenAI.

Затем Альтман изменил решение: вместо внешних наград он создал внутри компании «Команду супервыравнивания». Компания громко объявила, что выделит этой команде «20% существующих вычислительных мощностей», потенциальная стоимость которых превышает 1 миллиард долларов США. Формулировка объявления была чрезвычайно серьезной: если проблема выравнивания не будет решена, AGI может привести к «лишению человечества власти или даже к вымиранию человечества».

Джан Лейке, назначенный возглавить эту команду, позже сообщил журналистам, что само это обещание стало очень эффективным «инструментом удержания талантов».

А на практике? Четыре человека, работавших в этой команде или тесно с ней взаимодействовавших, говорят, что фактически выделенная вычислительная мощность составляла всего 1–2% от общей мощности компании и представляла собой самые устаревшие аппаратные средства. Позже эта команда была расформирована, а миссия осталась невыполненной.

Когда журналисты попросили интервью у сотрудников OpenAI, занимающихся исследованиями в области «существенной безопасности», реакция пресс-службы компании была одновременно и смешной, и печальной: «Это нечто... не существующее на самом деле».

Альтман сам спокоен. Он сказал журналистам, что его «интуиция не совпадает с многими традиционными подходами к безопасности ИИ», но OpenAI все равно будет заниматься «проектами в области безопасности или, по крайней мере, проектами, связанными с безопасностью».

Статья в The New Yorker — лишь половина плохих новостей этого дня. В тот же день The Information сообщила о другом серьезном скандале: между CFO OpenAI Сарой Фриар и Алтманом возникли серьезные разногласия.

Фриар私下告诉同事，她认为OpenAI今年尚未准备好上市。两个原因：需要完成的程序性和组织性工作量过大，Altman承诺的五年6000亿美元算力支出带来的财务风险过高。她甚至不确定OpenAI的营收增长能否支撑这些承诺。

Но Альтман хочет выйти на IPO уже в четвертом квартале этого года.

Еще более странно то, что Фриар больше не отчитывается напрямую перед Альтманом. С августа 2025 года она начала отчитываться перед Фиджи Симо (генеральным директором прикладного бизнеса OpenAI). А Симо только на прошлой неделе ушла в больничный по состоянию здоровья. Подумайте над этой ситуацией: компания, которая готовится к IPO, у которой CEO и CFO имеют фундаментальные разногласия, CFO не отчитывается перед CEO, а руководитель CFO находится в отпуске по болезни.

Даже внутренние топ-менеджеры Microsoft не могут больше молчать, говоря, что Алтман «искажает факты, нарушает обещания и постоянно отменяет уже достигнутые соглашения». Один из менеджеров Microsoft даже сказал следующее: «Я считаю, что есть определенная вероятность, что в конечном итоге его запомнят как мошенника уровня Берни Мэдоффа или SBF».

Бывший член совета директоров OpenAI описал журналистам две черты Альтмана. Это, возможно, самый резкий портрет персонажа во всем репортаже.

Этот директор сказал, что у Альтмана есть крайне редкое сочетание качеств: он сильнейшим образом стремится угодить и понравиться каждому человеку во время личного общения, одновременно проявляя почти социопатическое равнодушие к последствиям обмана других.

Редко встречается, чтобы оба качества присутствовали у одного человека. Но для продавца это идеальный дар.

В статье есть хорошая метафора: Джобс был известен своей «реальностью искажающей силой», которая заставляла весь мир верить в его видение. Но даже Джобс никогда не говорил клиентам: «Если ты не купишь мой MP3-плеер, все твои близкие умрут».

Альтман говорил что-то подобное об ИИ.

Если бы Альтман был просто генеральным директором обычной технологической компании, эти обвинения были бы, в лучшем случае, интересной бизнес-сплетней. Но OpenAI — не обычная компания.

Согласно собственным заявлениям, она разрабатывает, возможно, самую мощную технологию в истории человечества, способную переформировать мировую экономику и рынок труда (OpenAI только что выпустила политический белый документ о проблеме безработицы, вызванной ИИ), а также может быть использована для создания массовых биохимических оружий или проведения кибератак.

Все механизмы безопасности оказались лишь на бумаге. Некоммерческая миссия основателя уступила место гонке к IPO. Бывший главный научный сотрудник и бывший ответственный за безопасность сочли генерального директора «ненадежным». Партнеры сравнивают генерального директора с SBF. При таких обстоятельствах на каком основании этот генеральный директор единолично решает, когда публиковать модели ИИ, способные изменить судьбу человечества?

Гэри Маркус (профессор ИИ в Нью-Йоркском университете, долгосрочный сторонник безопасности ИИ) после прочтения статьи написал одну фразу: если какая-либо будущая модель OpenAI сможет создать массовые биохимическое оружие или совершить катастрофическую кибератаку, вы действительно уверены, что Алтману следует оставить одно решение — публиковать или нет?

Ответ OpenAI на статью The New Yorker был кратким: «Большая часть этой статьи представляет собой переосмысление уже освещённых событий с использованием анонимных утверждений и избирательных анекдотов; источники, очевидно, преследуют личные цели».

Такой подход к ответу Альтмана: не реагировать на конкретные обвинения, не отрицать подлинность меморандума, а лишь ставить под сомнение мотивы.

Десять лет OpenAI, оформленные в виде сценария истории, выглядят так:

Группа идеалистов, обеспокоенных рисками ИИ, создала миссионерскую некоммерческую организацию. Организация достигла выдающихся технологических прорывов. Прорывы привлекли огромные капиталы. Капитал требовал дохода. Миссия начала уступать место. Команда безопасности была распущена. Критиков устранили. Некоммерческая структура была преобразована в коммерческую организацию. Доска, ранее имевшая право закрыть компанию, теперь заполнена союзниками генерального директора. Компания, которая когда-то обещала выделять 20% вычислительных мощностей для защиты человечества, теперь ее PR-специалисты говорят: «Это не реальная вещь».

Главный герой истории, более ста очевидцев дали ему одну и ту же метку: «Не связанный истиной».

Он готовит эту компанию к IPO с оценкой более 850 миллиардов долларов.

Информация в этой статье собрана из публичных материалов таких СМИ, как The New Yorker, Semafor, Tech Brew, Gizmodo, Business Insider, The Information и других.