Какая драма! Это, возможно, самая подробная полная версия обзора дворцовых интриг Ультрамана.
Другой главный герой события, Грег Брокман, второй по значимости сотрудник OpenAI, лично раскрыл:
Что произошло в течение 72 часов после увольнения Ультрамана?
Правда выходит одна за другой, но довольно болезненно:
Грег и Оутман действительно ничего не знали до инцидента, и до сих пор сам участник размышляет, где именно произошла ошибка.
Изначально совет директоров хотел просто уволить Оттмана, но Грег проявил преданность и подал заявление об уходе в тот же день.
В первый день после увольнения они тайно собрались у дома Отмана, чтобы организовать новую компанию и даже планировали забрать всех сотрудников.
Совет директоров внезапно изменил решение: изначально почти договорились о возвращении Оттмана, но внезапно назначили нового генерального директора.
Все выходные все конкуренты безумно набирали персонал, но никто не согласился.
Отказ Ильи от вознаграждения облегчил Грегу.
Более чем часовое интервью, в котором Грег подробно рассказал о всех деталях этого эпического переворота в Силиконовой долине и ответил на все вопросы, включая историю становления OpenAI, причины перехода на прибыльную модель и дальнейшие планы...
От растерянности при уходе из Stripe до решающего офсайта в Напе-Валли и до неожиданного прорыва в проекте Dota — высочайшая плотность информации.
Грег несколько раз захлебывался от эмоций:
Когда Илья ушел, это был единственный раз, когда я почувствовал, что больше не хочу этим заниматься.
Вот полный текст интервью в десять тысяч иероглифов, с сокращением и корректировкой содержания без изменения первоначального смысла.
Беседа с президентом OpenAI Грегом Брокманом
(Вопросы ведущего Шейна Парриша далее обозначаются как Q)
OpenAI родился из самосомнения
Вопрос: Как была основана OpenAI?
Грег: Я знаю, что хочу начать свой бизнес, потому что считаю это по-настоящему значимым.
Q: Но ты только что основал компанию в Stripe.
Грег: Верно, но я всегда чувствовал, что проблема, которую Stripe стремится решить, — это не «моя проблема».
Это, конечно, важно, и я вложил в него многие годы. Но я считаю, что оно добьется успеха, независимо от того, есть я или нет.
Тогда впервые у меня появилась настоящая возможность задуматься: какая миссия является той, в которую я хочу вложить всю свою жизнь? Проблема, которую я буду стремиться решать остаток своей жизни, даже просто чтобы сделать её немного лучше.
Ответ однозначен — ИИ.
Если ты сможешь реально повлиять на направление развития ИИ в мире, то твоя жизнь не будет прожита зря.
Вопрос: Когда ты собирался уйти из Stripe, Патрик предложил тебе поговорить с Самом Ортманом — что произошло в этом разговоре?
Грег: Патрик тогда сказал мне, что Сэм встречал много молодых людей в такой же ситуации, как я.
На самом деле я понимал, что Патрик надеялся, что Сэм уговорит меня остаться, но после нескольких минут разговора с Сэмом стало ясно, что я твердо решил уйти.
Затем Сэм спросил меня о моих дальнейших планах, и я сказал ему, что рассматриваю возможность создания компании в области ИИ.
Сэм сказал, что он также рассматривает возможность заняться чем-то в области ИИ и надеется поддерживать связь в будущем.
После ухода из Stripe я ещё раз поговорил с Самом, и на этот раз Сам сказал, что у него появились более конкретные идеи и пригласил меня на ужин в июле.
Я помню, что темой ужина тогда было: сейчас создать лабораторию и собрать лучших исследователей со всего мира — уже слишком поздно? Еще возможно?
В каком году это было?
Грег: 2015 год.
В то время DeepMind почти монополизировала всех ведущих исследователей, финансирование и данные. Мы все сомневались, сможем ли мы что-нибудь новое создать с нуля?
Все вместе перечислили бесчисленные трудности, но никто не смог привести по-настоящему невозможную причину.
Той ночью Сэм и я поехали обратно в город. Мы посмотрели друг на друга, и он сказал: «Нам обязательно нужно это сделать».
На следующий день я начал полностью погружаться в подготовку.
Это сложно, всё неясно. У нас есть только одно видение: мы хотим создать универсальный человеческий интеллект, который принесёт положительное влияние в мир и принесёт выгоду всему обществу. Но как именно это сделать и как убедить людей оставить работу и присоединиться к нам — мы совершенно не знаем.
Изначально я выбрал в качестве ключевой команды Илью, Джона Шульмана и себя. Мы проводили много времени, обсуждая различные видения и возможные способы работы лаборатории, но ничего так и не сложилось.
Частично из-за опасений, что проект не имеет достаточной мотивации, Дарио чувствует, что ему нужно сначала завоевать свою репутацию, и не уверен, подходит ли этот проект ему.
В то же время я начал убеждать Джона Шульмана присоединиться, и он согласился. Но Дарио и Крис в итоге решили перейти в Google Brain, и в итоге команда осталась лишь из меня, Ильи, Джона и нескольких других человек.
Тогда примерно десять человек проявили интерес, но все ожидали, кто еще присоединится.
Я спросил Шэма, как нам выйти из этого тупика, и Шэм предложил организовать для всех оф-сайт-мероприятие. Мы выбрали Напа-Вэлли, и я специально сделал футболки.
Тогда не было официального предложения, не было корпоративной структуры, ничего не было. У нас был только один идея, одно видение, одна миссия.
Но когда мы пригласили людей в Напа-Валли в тот день, у нас возникла вдохновляющая идея, и мы почти определили технологическую дорожную карту на следующее десятилетие:
1. Решить задачу усиленного обучения. 2. Решить задачу обучения без учителя. 3. Постепенно осваивать более сложные вещи.
После закрытой встречи я отправил каждому предложение, сообщив, что запуск состоится в течение следующих 2–3 недель; если вы готовы присоединиться, пожалуйста, сообщите об этом.
Почему тогда казалось, что DeepMind невозможно превзойти?
Грег: Тогда Google DeepMind был гигантом в области ИИ — у них были огромные финансовые ресурсы и впечатляющие достижения, еще за несколько месяцев до выхода AlphaGo, но их преимущество уже было очевидно.
Поэтому мы сомневаемся: действительно ли можно создать независимый новый институт? Ответ неясен.
Оправдание отказа от некоммерческой цели
Вопрос: Когда вы поняли, что путь некоммерческой организации неприемлем?
Грег: В 2017 году мы начали серьезно задумываться о том, как реально реализовать миссию и как действительно построить AGI. Мы рассчитали потребности в вычислительной мощности и обнаружили, что потребуются сверхмасштабные вычислительные устройства.
В тот момент мы столкнулись с компанией Cerebras, которая разрабатывала специализированное вычислительное оборудование, производительность которого значительно превосходила наши собственные вычислительные возможности.
Тогда мы поняли, что если мы сможем приобрести большое количество таких устройств, эксклюзивно получить продукты Cerebras и построить сверхмасштабные центры обработки данных, это даст нам решающее преимущество.
Однако у некоммерческих организаций есть ограничения на привлечение средств, которых недостаточно для поддержки таких инвестиций. Поэтому Элон, Сэм, Илья и я единодушно пришли к выводу, что единственный путь для OpenAI реализовать свою миссию — создать коммерческую аффилированную структуру.
«GPT-момент» от OpenAI
Вопрос: Когда вы поняли, что всё изменится кардинально? До проекта Dota или после?
Грег: Работа OpenAI — это череда моментов, когда мечты становятся реальностью. Каждый раз, когда вы думаете, что уже поняли суть, вы вскоре обнаруживаете новые границы.
Когда мы впервые формировали команду, мы были в восторге — нам действительно удалось собрать команду и начать продвигать нашу миссию. Но на следующий день, придя в офис, мы обнаружили, что даже доски нет.
Проект Dota стал нашим первым крупным достижением, и он действительно заставил нас почувствовать, что, если мы приложим все усилия, мы действительно сможем добиться успеха. Он доказал, что объединение вычислительной мощности и её масштабирование улучшают результаты.
В серии GPT также было много таких моментов, например, ранняя статья о безнадзорном эмоциональном нейроне — это был первый раз, когда мы увидели, как семантика возникает из обучения с целью языкового моделирования.
Вы обучаете модель предсказывать следующий символ, и внезапно получаете нейронную сеть, способную понимать эмоции и различать положительные и отрицательные аспекты.
В тот момент мы осознали, что создаем машины, способные учиться семантике, а не только грамматическим правилам.
Когда появился GPT-4, некоторые спрашивали, почему он еще не является AGI. Он действительно способен вести плавный диалог и почти соответствует всем нашим прежним определениям AGI, но все еще не хватает последнего толчка.
Во время всего пути было много подобных моментов, которые заставляли нас чувствовать, что мечты сбываются, но эти моменты еще далеко не закончились — мы переживем еще больше прорывных моментов и поймем, что следующий этап, возможно, тоже возможен.
В: Почему, по вашему мнению, Dota так важна?
Грег: Dota — это невероятный момент; в отличие от Deep Blue, играющей в шахматы, или AlphaGo, играющей в го, у неё нет чётких правил, она взаимодействует в реальном времени с людьми в сложной открытой среде, что ближе к реальному миру.
На самом деле изначально мы хотели использовать его только для проверки нового алгоритма, поскольку в то время обучение с подкреплением не могло масштабироваться. Но когда мы постоянно увеличивали вычислительные мощности, простейший алгоритм PPO превзошел лучших человеческих игроков, что доказывает:
Крупномасштабные вычислительные мощности + простой алгоритм — на практике это действительно работает.
В особенности в этой чрезвычайно хаотичной среде, где нельзя программировать, предсказывать или искать, вам почти необходима человеческая интуиция.
В то время использовались очень маленькие нейронные сети с количеством синапсов, сопоставимым с количеством синапсов в мозге насекомого, и мы задались вопросом: что бы произошло, если бы эту идею масштабировали до размера человеческого мозга? Это очень интересный и хороший вопрос.
В: Поскольку мы говорим о прогнозировании, есть ли разница между прогнозированием и рассуждением?
Грег: Я считаю, что между ними существует глубокая связь.
Предсказание следующего слова кажется простым, но если вы сможете точно предсказать следующее слово Эйнштейна, то, по крайней мере, вы так же умны, как Эйнштейн.
Суть прогнозирования заключается не в предсказании известной информации, а в выводе дальнейшего развития в новых сценариях, с которыми ранее не сталкивались, что глубоко связано с сутью интеллекта.
Современные модели рассуждения делятся на два этапа:
1. Обучение без учителя: модель обучается, предсказывая, что произойдет дальше. Данные более статичны и наблюдательны. 2. Обучение с подкреплением: ИИ обучается на собственных данных. Он сам принимает действия, получает обратную связь из окружающей среды и учится на основе этого. Сам процесс обучения по сути остается предсказанием: предсказываются последствия действий, а затем они усиливаются на основе результатов.
Но в основе оба этапа используют одну и ту же технологию — прогнозирование, просто структуры данных различаются.
Инцидент с ультраманом
Вопрос: С какого момента внутренние противоречия стали острыми?
Грег: Особенность OpenAI заключается в том, что мы искренне верим в возможность создания ИИ, равного человеческому уровню, что означает высокий уровень риска.
Кто принимает решения? Какие ценности лежат в основе этих решений? То, что в обычной компании не имеет значения, например, офисная политика, здесь приобретает вес, имеющий значение для выживания человечества.
Я считаю, что это повлияло на многое в развитии внутри OpenAI и стало источником всех крупных конфликтов.
Одним из ключевых движущих сил в области ИИ является желание людей оказаться в центре технологической революции и быть запомнившимися, поэтому это проблема не только OpenAI.
Искусственный интеллект по своей сути фрагментарен: под давлением может образоваться алмаз, а может появиться трещина. Поэтому вы часто наблюдаете образование алмазов в небольших группах, где участники тесно сотрудничают и глубоко доверяют друг другу. Но иногда они также распадаются и идут своим путем.
Я считаю, что в области ИИ разнообразие подходов и здоровая конкуренция являются нормальными и позволяют нам более безопасно продвигать технологии, а также обсуждать сложные вопросы безопасности и этики.
Таким образом, здоровые дискуссии внутри OpenAI всегда существовали, но сейчас это происходит по всему миру.
Вопрос: Давайте вернемся к моменту, когда вы узнали, что Сэма уволили. Где вы были?
Грег: Я был дома. Я получил сообщение с приглашением на видеозвонок и заметил, что на нем присутствуют все члены совета, кроме Сэма. В тот момент я почувствовал, что что-то не так.
Мне сказали, что совет директоров принял решение уволить Сэма. Полученная мной информация в основном совпадала с публичным заявлением, поэтому я попытался уточнить детали, но мне отказали.
Затем они сказали, что меня также убрали из совета директоров, но я останусь в компании, потому что я важен для компании и её миссии.
Я снова запросил объяснение, но мне снова отказали. В конце мне сказали, что в новой архитектуре я, возможно, получу обратную связь. Вот что было сказано в этом звонке.
Вопрос: Что у тебя было в голове в тот момент? Ты чувствовал злость?
Грег: Нет, я просто чувствую, что это неверно, но, вероятно, понимаю, что произошло.
Q: Через сколько времени ты узнал, что именно вызвало всё это?
Грег: Ответ состоит из двух частей. Во-первых, я чувствую, что продолжаю открывать для себя новые факты, то, что другие думают. В некотором роде это сводится к недопониманию — вы внезапно осознаете, что раньше игнорировали множество вещей.
С другой стороны, я примерно понимаю, почему каждый из них так поступает.
Но в тот самый момент поиск причин уже не имел значения — я просто знал, что это неправильно. Поэтому, повесив трубку, я сразу же сказал жене, что собираюсь уволиться, и она согласилась.
Того же дня я подал заявление об уходе.
После ухода со работы я начал получать множество сообщений. Мы получили огромную поддержку и энтузиазм; многие хотели уйти с нами и начать новый бизнес, включая Якоба, Шимоне и Александра.
Позже мы собрались с Самом и начали планировать новую компанию.
В первый день мы считали, что вероятность возвращения Сэма составляет всего 10%. Поэтому мы организовали встречу у Сэма дома, на которую пришло много людей из компании, и показали им рисуемую нами картину. За один день у нас появилась совершенно новая концепция того, как запустить проект.
В тот уикенд мы также много времени уделили переговорам с советом директоров и компанией, пытаясь найти осмысленный путь возвращения.
В итоге в воскресенье вечером совет директоров внезапно назначил нового генерального директора, заменив меня, и в компании вспыхнули протесты. Фактически, мы тогда находились в офисе и даже видели, как соглашение вот-вот будет подписано, и мы могли уйти, но совет директоров внезапно изменил решение.
Толпа начала выливаться из здания, царил хаос.
Мы начали вести видеозвонки с людьми, заинтересованными в новой компании, успокаивая их, что всё будет хорошо, у нас есть план. Мы постоянно пытались построить спасательный плот для небольшой группы потенциальных участников, но внезапно казалось, что все изменили своё мнение и теперь все хотят присоединиться к нашей новой компании.
Сэм также поговорил с генеральным директором Microsoft Сатейей, ранее мы обсуждали, сможет ли он поддержать нашу новую инициативу. Мы хотим масштабировать спасательные шлюпки, например, забрать всех сотрудников OpenAI.
В то время накануне Дня благодарения многие должны были лететь домой к семье, но все отменили свои рейсы, и в офисе было полно людей.
Все были там, и даже те, кто не участвовал в разговоре, хотели лично стать свидетелями этой истории.
Затем петиция начала распространяться. Слишком много людей пытались подписать петицию одновременно, что временно привело к сбою Google Docs, поэтому в итоге пришлось назначить определённых людей для регистрации имён, чтобы избежать слишком большого количества редакторов одновременно.
Я помню, что примерно в 5 утра вернулся домой, поспал 45 минут, проснулся, открыл Twitter и увидел твит Ильи, где он подписал петицию, выражая желание, чтобы компания снова объединилась.
Это был по-настоящему облегчающий момент. Я очень благодарен, чувствую, что мы можем снова собрать всё воедино и вернуться на правильный путь.
Вопрос: Вы вместе с Ильей основали эту компанию; после этого события, как вы чувствуете свои отношения с ним?
Грег: Это было тяжело. Между нами были абсолютно тесные отношения, он был ведущим на моей свадьбе, и мы пережили множество крайне трудных моментов. Но в любых отношениях бывают подъемы и спады.
После этого мы потратили много времени на настоящий разговор, пытаясь понять и выразить то, что накопилось между нами или о чем не говорили. Через этот процесс я считаю, что мы достигли отличного состояния.
Для меня я чувствую, что мы закрыли всё, что произошло.
Как вы чувствуете к лояльности сотрудников, которых вы вдохновили?
Грег: Я искренне благодарен за это. Я никогда не просил об этом и не ожидал этого.
Я считаю, что мой стиль руководства — это стиль лидера, который работает на передовой, старается идти впереди, иногда эмоционально; я не всегда оглядываюсь, чтобы убедиться, что все идут за мной — я просто продолжаю двигаться вперёд.
Но когда люди действительно пришли помочь в строительстве, я был очень благодарен и почувствовал, что они превзошли все мои ожидания.
Вопрос: Итак, в итоге все вернулись?
Грег: На самом деле весь уикенд все конкуренты смотрели с жадностью. Люди получали различные предложения, но в тот уикенд мы не потеряли ни одного человека — никто не принял предложение. Это невероятно.
На самом деле, тренер Билл Белличик когда-то сказал мне, что лучшие команды играют не ради денег, а ради людей, которые их окружают. В тот момент, когда все пришли поддержать нас, я вспомнил эти слова.
Несомненно, это алмазный момент.
Краткий перерыв и самоанализ
Вопрос: После всего этого ты немного отдохнул — что ты чувствовал внутри?
Грег: Это был напряжённый опыт — как в его переживании, так и в возвращении к нему.
Но честно говоря, один из самых сложных моментов в истории OpenAI — это уход Ильи. Возможно, это был единственный момент в истории OpenAI, когда я подумал, что больше не хочу этого делать.
Я думаю, мне нужно некоторое время, чтобы снова найти себя, вспомнить, почему я начал это делать, почему это так важно и почему стоит вынести всю эту боль.
Что ты делал во время отдыха?
Грег: Я обучил языковую модель на последовательностях ДНК.
На самом деле, я уже занимался этим во время работы в OpenAI для некоммерческого биомедицинского исследовательского учреждения Arc. Я применил свои навыки в совершенно другой области, которая имеет большое значение для меня и моей жены.
У моей жены много проблем со здоровьем, и мы постоянно думали, как ИИ может помочь в области её здоровья, а также здоровья животных. Этот опыт также заставил меня осознать, что, возможно, мы можем применить технологии в совершенно новых, человечных областях.
Вопрос: Если бы вам пришлось резюмировать всё это на одной странице — от отставки Сама до вашего ухода, коллективного петиционирования сотрудников, отпуска и возвращения — что бы вы написали?
Грег: Я думаю, я узнал, что нужно держаться за то, что стоит того.
Если у вас есть важная миссия, то ключевым является то, что вы держитесь за неё через подъёмы и спады. Будут моменты, когда кажется, что «всё пропало», и моменты, когда «мы вернулись».
Вы не можете позволить этим моментам сбить вас с пути; в этот период вы должны развивать свою личную устойчивость. Потому что, если вы лидер, люди будут обращаться к вам за стабильностью, поддержкой и направлением движения.
Я стремлюсь развивать способность понимать детали того, что мы делаем, и значение каждого выбора, а также быть решительным.
Иногда я смотрю на OpenAI в значительной степени через призму неопределенности: я не знаю, каков правильный ответ, как правильно создавать эту технологию или как отвечать на эти сложные вопросы.
Но здесь много очень умных людей с сильными мнениями. Поэтому я стараюсь понять все эти мнения и найти способы объединить их. Иногда это правильный подход. Но иногда вы обнаруживаете, что эти мнения противоречат друг другу и не могут быть одновременно истинными.
Иногда вам приходится делать выбор, и вы знаете, что это приведет к тому, что кто-то будет недоволен, кто-то уйдет, а кто-то почувствует себя недооцененным.
Я стараюсь развивать более сильное самосознание и осознание необходимости действовать, когда я уверен в чём-то.
Вспоминая путь OpenAI, я считаю, что в некоторых вещах мы бы хотели поступить иначе.
Часто бывает, что мы тянем время по какому-то вопросу: мы давно знаем, что человек не подходит для этой роли, что техническое направление неверно, что способ ведения проекта не работает, но мы просто слишком долго ждем.
Это урок, который я извлек из своих усилий, и аспект, над которым я стараюсь расти каждый день, размышляя над проектами OpenAI, Stripe и даже более ранними университетскими проектами.
Я считаю, что мой подход заключается в том, что я очень люблю повседневные занятия, личный вклад, программное обеспечение и размышление над проблемами, но мне также очень важно, в какой среде я это делаю.
На самом деле, я готов отказаться от «удовольствий первого рода» — быстрого удовлетворения, например, от того, что вы сейчас создали, и вместо этого стремиться к «удовольствиям второго рода» — вещам, которые доставляют боль сейчас, но имеют долгосрочную ценность.
Вы создаете среду, позволяющую другим заниматься трудной работой и достигать великих результатов. Поэтому стремление создавать такую среду — это естественная для меня тенденция, хотя это не всегда легко. Вам действительно нужно быть готовым переносить огромные личные страдания.
Илья всегда говорит: «Ты должен страдать», если ты не страдаешь, ты не создаешь ценность. Я считаю, что в этом есть глубокий смысл.
Что касается мнения Ильи, мне интересно, что у него есть уникальный способ выражения мыслей — выбранные им слова всегда несут глубокий вдохновляющий смысл.
Эта картина «страданий» была тем, над чем мы размышляли на протяжении всего пути OpenAI. С самого начала у нас было множество неопределенностей, и каждое дело было чрезвычайно трудным и неопределенным.
Многие привыкли замалчивать проблемы и слепо говорить о росте. Я считаю, что это негативная сторона культуры Силиконовой долины, по крайней мере, её стереотип, но я считаю, что это не работает в области ИИ, не работает в OpenAI, и мы никогда так не действовали.
Наш подход всегда заключался в том, чтобы сталкиваться с суровыми фактами и понимать суть реальности. Я считаю, что это помогает нам мыслить иначе, не ограничиваясь ранними попытками написать статьи, которые можно цитировать — этого достаточно лишь как основа, но далеко не достаточно.
Затем вы начинаете задумываться о более крупных вопросах: что же необходимо для создания AGI? Это неприятно. Потому что вы осознаёте, что готового пути нет.
Вам нужны средства, но у вас нет механизма для привлечения капитала. Вы прилагаете усилия, мы прилагаем чрезвычайно большие усилия. Возможно, вам удастся привлечь 100 миллионов или 500 миллионов долларов, но 1 миллиард долларов — очень сложно.
Но именно с использованием этих существующих ресурсов мы добились значительных успехов, и если не стремиться преодолевать трудности и усердно понимать суть того, что мы пытаемся достичь, действительно других способов нет.
Вопрос: Какой урок тебе приходилось учить снова и снова?
Грег: Принимать трудные решения, вести сложные разговоры.
Какой самый лучший совет вы когда-либо получали?
Грег: Я узнал это на курсе письма для первокурсников в Гарварде. Для ясности и эффективной коммуникации постоянно сокращайте текст.
В: Как вы отбираете информацию?
Грег: много читайте, активно классифицируйте и обрабатывайте.
Кто твой пример и почему?
Грег: Гаусс и Декарт. Они были глубокими мыслителями, опередившими свое время, видящими далеко вперед, и принесли настоящий прорыв, изменив наш способ мышления и образ жизни.
В: Что о Греге Брокмане мир неправильно понимает?
Грег: Я считаю, что люди не осознают, насколько я предан этой миссии — эта преданность причиняет мне огромные личные страдания во многих аспектах. Но я искренне верю, что эта технология может дать людям возможность и принести пользу каждому. Я очень хочу помочь воплотить это в жизнь.
Основные выводы об отрасли ИИ
Что вы хотите, чтобы неспециалисты поняли об ИИ?
Грег: Это станет добрым силой в их личной жизни, от которой они выиграют, и это будет способствовать развитию науки и медицины, реально повлияв на каждого человека.
Почему OpenAI так плохо выбирает названия для своих моделей?
Грег: Я не могу тебе это сказать. (doge)
Вопрос: Мы приближаемся к точке, при которой ИИ ускорит развитие ИИ в экспоненциальном порядке?
Грег: Я считаю, что мы находимся на этапе применения ИИ к самому процессу его разработки, и это будет происходить всё быстрее.
Это происходит уже с тех пор, как появился ChatGPT. Мы использовали ChatGPT, чтобы ускорить процесс разработки на 10% или 20%. Теперь у нас есть эти удивительные инструменты для программирования, которые по-настоящему революционизировали способ выполнения программной инженерии.
Однако большая часть нашей работы в производстве моделей ограничена программным обеспечением. Мы вскоре перейдем на следующий этап, когда ИИ будет предлагать собственные исследовательские идеи, проводить тесты и запускать эксперименты. Поэтому я считаю, что скорость итераций и инноваций будет продолжать расти благодаря тому, что мы производим.
Сколько процентов кода сейчас пишется с помощью ИИ?
Грег: Трудно сказать, сколько кода написано не с помощью ИИ. Этот процент приближается к нулю.
В настоящее время, при наличии правильного контекста и структуры, ИИ значительно превосходит людей в фактической записи кода. Что касается части, связанной со структурой кода, человеческие эксперты по-прежнему намного лучше справляются, но фактическая запись кода в основном полностью является задачей ИИ.
Вопрос: Предлагал ли ИИ какие-либо новые идеи, которые вы не могли бы предположить?
Грег: Мы приближаемся к этой цели, например, в области проектирования чипов. В прошлом году в нашем собственном проектировании чипов мы пытались лучше адаптировать технологию, чтобы уменьшить площадь, занимаемую схемой.
Мы обнаружили, что оптимизационные решения, сгенерированные моделью, уже присутствуют в нашем списке, поэтому она не предложила ничего абсолютно нового, чего люди раньше не могли подумать, но она реализовала их быстрее и теми способами, на которые у нас раньше не хватало времени.
Например, недавно в квантовой физике мы решили конкретную физическую задачу, и результат оказался противоположным ожиданиям научного сообщества, при этом мы получили красивую и простую формулу.
Поэтому получение новых идей из этих моделей полностью осуществимо. В дальнейшем мы применим их в более сложных областях или потребуется больше реального контекста. Это только начало. Но у нас есть дорожная карта для реализации, и нам предстоит еще много работы.
Вопрос: Если модель основана на обучении с подкреплением, считаете ли вы, что она будет эволюционировать так, что будет говорить нам только то, что мы хотим слышать?
Грег: Мы действительно прошли эволюцию обучения модели для адаптации к предпочтениям пользователей.
Мы заметили, что в какой-то момент прошлого года модель действительно начала склоняться к тому, чтобы говорить вам то, что вы хотите услышать. Мы внесли изменения, потому что хотим, чтобы модель действительно была согласована с целью помочь вам достичь ваших целей — ваших долгосрочных целей.
Возможно, сейчас приятно слышать согласие, но это не то, чего вы действительно хотите. Возможно, некоторым это нравится, но это не то, чего хотят большинство.
Таким образом, мы действительно достигли значительных технических успехов, чтобы убедиться, что наша тренировка ИИ не приведет к так называемому взлому награды. Мы действительно стремимся обеспечить надежный сигнал цели, а не просто краткосрочные способы быстрого удовлетворения.
Для меня это, возможно, самая важная часть видения, к которому нас приведут персональный ИИ и персональный АГИ — обеспечить, чтобы речь шла не только о том, что кажется хорошим сейчас, а о настоящем соответствии вашему долгосрочному благополучию, долгосрочным целям и тому, чего вы действительно хотите.
I believe this is what truly empowers people.
В: Текущая тенденция, похоже, заключается в выпуске предварительных версий моделей. Вы считаете, что это связано с ограничениями вычислительных ресурсов?
Грег: В целом, мы движемся к миру, управляемому вычислительной мощностью.
Это уже не просто быстрый ответ на вопрос — оно действительно углубляется, тратя большое количество токенов для интеграции различных источников данных и поиска в корпоративной базе знаний, чтобы решать сложные задачи и писать программное обеспечение, превосходящее возможности человека.
Всё это в конечном счёте зависит от вычислительной мощности, которой сейчас явно недостаточно. Даже если бы у каждого человека на планете был один GPU — это составило бы 8 миллиардов GPU — мы сейчас далеко не на том уровне. Сейчас несколько тысяч или миллионов GPU уже считается большим количеством.
Поэтому в плане обучения мы стремимся заранее наращивать вычислительные мощности, чтобы справиться с наблюдаемым спросом. Мы будем сосредоточены на нашей миссии сделать модели доступными для всех.
Вопрос: Вас когда-то высмеивали за то, что вы вкладывали огромные усилия и средства в центры обработки данных. Как вы сейчас это воспринимаете?
Грег: Я считаю, что это даст нам преимущество — не только в бизнесе, но и позволит действительно предоставить технологии каждому.
Вычислительные ресурсы будущего будут приоритетно направлены на решение важнейших задач, например, на борьбу с раком, и этого можно достичь уже в этом году.
На самом деле, распределение вычислительной мощности является ключевым вопросом будущего общества: вычислительных ресурсов ограничено, поэтому необходимо установить приоритеты, но мы твердо верим, что каждый человек заслуживает доступ к вычислительной мощности.
Вот почему у нас есть бесплатная версия ChatGPT — мы прилагаем усилия, чтобы обеспечить доступ к этой технологии.
Вопрос: Как вы рассматриваете баланс между потребительским и корпоративным бизнесом внутри OpenAI?
Грег: То, над чем я недавно много думал, — это фокус.
Потому что эта область — воплощение возможностей: вы можете применить ИИ к любой проблеме, к любому проекту, который хотите создать — всё возможно. Но наша текущая проблема — ограниченные вычислительные ресурсы.
Поэтому я считаю, что на следующем этапе OpenAI корпоративный бизнес очевидно важен, поскольку экономика прямо перед нами превращается в экономику вычислительных мощностей. Это уже так в области программной инженерии, и так будет в каждой области, где используется компьютер.
Таким образом, нам нужно помочь людям развернуть эти модели, понять, как их использовать и как извлечь из них максимальную выгоду.
Граница между корпоративным и потребительским сегментами также стирается, поскольку предпринимательство становится проще, чем когда-либо прежде. Мы уже видели это.
Вопрос: Вы считаете, что у нас будут космические центры обработки данных?
Грег: Я считаю, что в будущем у нас будут центры обработки данных повсюду, но сейчас в космических центрах обработки данных ещё много технических проблем.
В: Что такое итеративное развертывание? Почему вы это делаете?
Грег: Итеративное развертывание является одним из ключевых столпов, которые OpenAI использует для того, чтобы направить эту технологию на благо человечества и реализовать свою миссию.
Секретная разработка и однократный запуск сопряжены с высоким риском, поскольку вы не можете предсказать проблемы реального мира. Итеративное развертывание позволяет нам выявлять риски на практике и быстро их устранять. Например, после запуска GPT-3 мы не ожидали, что основным видом злоупотребления станут спам-сообщения о медицинских услугах — именно практическое применение позволило нам своевременно отреагировать.
Таким образом, концепция итеративного развертывания заключается в том, что мы запустим промежуточную версию этой технологии.
Это не оправдание для слепого развертывания — вам все равно нужно на каждом этапе думать о нашем лучшем суждении о возможных способах неправильного использования, о недостатках и рисках, а затем устранять их. Но вы также можете увидеть реальную ситуацию, проверить, насколько ваше суждение верно, учиться на опыте и в следующий раз сделать лучше.
В истории OpenAI мы когда-то надеялись, что, поскольку ранее кто-то уже внедрял трансформационные технологии, они могли бы дать нам ответы. Но всё никогда не было так просто.
Они действительно обладают мудростью и взглядами, и мы их усвоили. Но мы осознали, что именно мы наиболее близки к этой технологии, и именно благодаря тому, что создали её, мы лучше понимаем, как правильно её формировать.
Вопрос: Как вы относитесь к различию, если одна передовая модель ставит безопасность на первое место, а другая — нет?
Грег: Я считаю, что безопасность на самом деле является ключевой характеристикой продукта, и никто не хочет модель, которая не соответствует его ценностям.
Таким образом, мы инвестировали в безопасность, возможно, гораздо больше, чем люди считают, и больше, чем любая другая лаборатория.
Я всегда считал, что невозможно устойчиво развивать технологию и иметь успешный продукт, не вкладывая значительные ресурсы в безопасность. Вам нужно думать о долгосрочной перспективе для вашего бизнеса и того, что вы создаете — это касается того, как обучать модели и как организовывать обратную связь.
Я просто хочу сказать, что мы стремимся сделать безопасность частью нашей миссии, что уже отражено в наших продуктах и мире.
Вопрос: Когда я говорю людям, что собираюсь провести это интервью, распространённой реакцией является беспокойство о своей работе и неуверенность. Что бы вы им сказали?
Грег: Я действительно считаю, что невозможно точно предсказать, как развиваться эта технология. Ее развитие было неожиданным: наш современный ИИ и наш современный мир не соответствуют тому, что предсказывалось в научной фантастике. Некоторые казавшиеся неизбежными выводы, когда они действительно реализовались, оказались не совсем такими, как ожидалось.
Я считаю, что люди всегда легче видят, что они потеряют. Изменения вот-вот наступят, и это неоспоримо, но сложнее предвидеть, что ты получишь.
Например, представьте, как люди 1950 года могли бы понять Uber: сначала вам нужно представить компьютеры, мобильные телефоны, GPS. На самом деле, здесь задействовано множество технологий, но это всё же произошло. И тысячи, миллионы других примеров происходят одновременно.
Таким образом, мое мнение об ИИ заключается в том, что он связан с наделением полномочиями и человеческой агентностью. Это действительно означает, что некоторые институты, работы и те вещи, на которые мы полагались, могут больше не быть такими стабильными, как мы думали.
Это влияет на людей, но более глубокий вопрос: что вы получаете? Как вы извлекаете из этого выгоду?
Теперь ты можешь стать создателем и создавать всё, что только можешь вообразить.
В: Как развить творческие способности?
Грег: действительно углубитесь в эту технологию.
Я заметил, что наибольшую выгоду получают те, кто вложился в предыдущую технологию, когда речь идет о переходе между поколениями технологий. А сейчас порог входа для их использования ниже, чем когда-либо.
Таким образом, я считаю, что появятся новые возможности.
Я считаю, что мир действительно должен подумать о том, как поддержать каждого в предстоящих любых трансформациях в этот период неопределенности. Потому что экономика станет экономикой вычислительной мощности, но у каждого будет свое место для вклада.
В куда сегодня стоит инвестировать молодым людям? Если вы учитесь в старшей школе или университете или только начинаете свою карьеру, какие навыки, по вашему мнению, будут наиболее ценными в будущем?
Грег: Я действительно считаю, что глубокое погружение в эту технологию станет ключевым навыком — действительно понять, как извлечь максимальную ценность из ИИ.
Потому что мы все придем в мир, где станем управляющими агентами, а может быть, и генеральными директорами автономных ИИ-компаний.
Если у вас есть токен и вычислительная мощность, которая его движет, вы сможете направить эту мощность на любую задачу — а количество задач, которые человечество хочет решить, бесконечно.
Поэтому я считаю, что чем глубже люди погружаются в эту технологию, тем легче становится понять, как использовать грядущее, как комбинировать эти технологии новыми способами, как взаимодействовать с нашими агентами и действительно управлять ими, задавая себе вопросы: «Чего я хочу? Что такое мое самосознание? Какова моя цель? Что я хочу видеть в мире?» — и реализовывать это станет проще, чем когда-либо прежде.
I believe that the upside potential of that world, given what we’ve gained, is almost unimaginable.
В: Это самый позитивный сценарий будущего. Какой самый пессимистичный сценарий вы можете себе представить?
Грег: Один из самых интересных аспектов развития технологий до настоящего момента заключается в том, что они на самом деле заставляют нас искажать себя, чтобы приспособиться к машинам.
Подумайте, сколько людей вынуждены работать, сидя перед этим ящиком, стучать по клавиатуре и страдать от синдрома запястья, с сутулыми плечами. Но это не тот мир, который мы хотим создать. Мы стремимся к миру, в котором вы не просто используете компьютер для работы, а ваш компьютер работает на вас.
Это создает возможности, а также риски. Поэтому нам нужно найти способы смягчить эти риски.
В конечном счете, ключевой вопрос заключается в следующем: если у вас есть машины, которые помогают людям достигать их целей, они выполняют то, что вы хотите. Но иногда цели людей противоречат друг другу — как вы это решаете? Как вы решаете, чем будет помогать ИИ, а чем — не будет? Как действительно понять, как это вписывается в общество? Как обеспечить, чтобы выгоды распространялись не только на одну компанию или группу людей, а действительно повышали уровень жизни каждого?
We must acknowledge that there are still many ways things can go wrong or risks that we need to address.
В: Последний вопрос: что для вас значит успех?
Грег: реализовать миссию OpenAI, обеспечивая, чтобы ИИ общего назначения приносил пользу всему человечеству.
Ссылки для справки: [1] https://x.com/shaneparrish/status/2046900710055297072 [2] https://youtu.be/6JoUcQ1qmAc
Эта статья взята из официального аккаунта WeChat «Quantum Bit», автор: следите за передовыми технологиями