Ведущие исследователи в области ИИ изучают развитие ИИ, управляемое ИИ

Как заставить ИИ разработать следующее поколение ИИ

Автор статьи, источник: официальный аккаунт WeChat "APPSO"

Если китайский инженер-искусственный интеллект с отличными техническими навыками, впечатляющим резюме и образованием в таком топовом вузе, как Пекинский университет, он может сделать всё что угодно, но только не остаться без работы.

Вон Ли, которая только что ушла из Thinking Machines Lab, заявив, что здоровье и жизнь — это «самое важное соответствие», снова вернулась в OpenAI. По словам представителя компании, она будет возглавлять команду, ускоряющую внутренние исследования, и участвовать в изучении OpenAI концепции «рекурсивного самосовершенствования», то есть вовлечения ИИ в обучение и улучшение своих следующих поколений моделей.

Не одиноко, её бывший коллега, ещё один бывший ключевой сотрудник OpenAI Илья Суцкевер, основавший Safe Superintelligence, наконец-то позволил немного проникнуть внутрь своих закрытых исследований. После редкого доступа к внутренним исследованиям, NVIDIA решила инвестировать в SSI и увеличить их вычислительные мощности на порядок с помощью новой системы Vera Rubin.

NVIDIA уверена, что SSI в течение последних двух лет продвигала новое направление исследований, отличное от существующих подходов к большим моделям. Ilya не раскрыл больше деталей, лишь сказав: «У нас есть исследования, стоящие масштабирования».

Интерес публики еще больше возрос: в социальных сетях появился обратный анализ открытых данных, предполагающий, что SSI ищет не следующий крупный набор предварительной настройки, а новый способ итерации и эволюции: модель должна не оставаться статичной после завершения обучения, а постоянно развиваться и становиться сильнее благодаря обратной связи, экспериментам и непрерывному обучению.

Это суждение не подтверждено SSI, но оно сильно соответствует прежним утверждениям Ильи. Ранее он неоднократно заявлял, что эпоха масштабирования исключительно за счет большего объема данных и вычислительной мощности приближается к пределу, и ИИ необходимо заново научиться, как человек, формировать более глубокое понимание на основе меньшего опыта и продолжать развиваться в процессе взаимодействия с окружающей средой.

Эти уже весьма успешные ведущие специалисты в области ИИ, похоже, смотрят в одном направлении: как заставить ИИ разрабатывать следующее поколение ИИ вместо себя.

Упоминая рекурсивное самоусовершенствование, легко представить научно-фантастическую сцену: ИИ внезапно осознаёт свои недостатки, напрямую изменяет веса нейронной сети и просыпается, став в десять раз умнее, чем вчера.

Настоящий起点 гораздо скромнее. Разработка ИИ — это постоянно циклический конвейер: исследователи читают научные статьи и протоколы экспериментов, формулируют гипотезу, изменяют код обучения, ставят эксперименты в очередь, ждут результатов, сравнивают метрики, ищут причины неудач и разрабатывают следующий цикл.

Современные крупные модели уже могут участвовать во многих этапах этого процесса: они могут читать кодовые репозитории, воспроизводить научные статьи, писать экспериментальные скрипты, запускать тесты с использованием вычислительных ресурсов, обрабатывать десятки наборов результатов, анализировать, какой параметр мог быть неверным, и продолжать изменять код. То, что раньше команда выполняла за несколько дней, в будущем могут одновременно пробовать десятки путей несколько интеллектуальных агентов, а затем передать наиболее перспективные результаты на оценку человеку.

В июле Вэнь Ли опубликовала длинную статью «Использование инженерии для самосовершенствования», в которой почти досрочно описала направление исследований, которым она будет заниматься. Она считает, что ближайшей реалистичной дорогой самосовершенствования является не прямое переписывание мозга моделью, а обучение ИИ сначала изменять свою рабочую среду: автоматически анализировать записи неудач, корректировать управление контекстом, вызов инструментов и рабочие процессы, а затем продолжать оптимизировать эту систему на основе новых экспериментальных результатов. Более зрелые harness-системы могут стимулировать автоматизированные исследования, а более мощные модели, в свою очередь, могут сделать harness-системы проще — между ними возникает циклическая связь.

Это также создает интересный отклик между двумя путями Вэнь Ли и Ильи: OpenAI, похоже, постепенно передает существующие процессы разработки ИИ, превращая его в работающего инженера-исследователя; SSI, возможно, пытается найти новые парадигмы обучения на более низком уровне, чтобы сама модель обладала способностью к постоянной итерации и эволюции.

ИИ не должен изначально обладать способностью напрямую изменять свои веса. Достаточно, если он может улучшать процесс обучения, отбирать данные, проектировать оценочные методы или оптимизировать оболочку, окружающую модель, — тогда он уже участвует в создании своего преемника.

Первый движется от инженерного цикла внутрь, второй — от моделирования механизма наружу, оба стремятся сократить расстояние между поколением AI и следующим поколением AI.

В то время как крупные игроки хотят ускорить ставки на этот путь, внутри отрасли раздаются другие голоса.

На этой неделе более 1100 специалистов из компаний OpenAI, Anthropic, Google, Meta и других подписали заявление, призывающее заранее создать технологии и координационные инструменты для контроля темпов «автоматизированного AI-исследования». Среди участников — ведущие исследователи, такие как главный научный сотрудник OpenAI Якуб Пачоцки, сооснователи Anthropic Джек Кларк и Джаред Каплан, а также сам Илья.

Петиция не требует прекращения исследований в области ИИ и даже не отрицает потенциальную ценность самосовершенствования. Она выражает обеспокоенность тем, что, как только ИИ начнет значительно ускорять разработку ИИ, рост его возможностей может опередить способность человека понимать и контролировать системы.

Подумайте об этом внимательно: эта «кажущаяся противоречивая» колеблющаяся позиция исходит от одной и той же группы людей, даже от одного и того же человека. В одно и то же время они могут делать два противоположных суждения: они верят, что автоматизированные исследования могут стать ключом к следующему прорыву ИИ, а также верят, что, как только эта обратная связь действительно заработает, отрасль должна обладать способностью замедляться при необходимости.

Поскольку эта циклическая система, как только она сформируется, отличается от прежних выпусков более мощных моделей. Ранее темпы прогресса в конечном итоге ограничивались человеческими исследовательскими командами. Люди должны формулировать вопросы, организовывать эксперименты, оценивать результаты, и прогресс может останавливаться из-за бюджета, человеческих ресурсов и организационных процессов.

Цель автоматизированного ИИ-исследования — постепенно устранить эти узкие места. Чем сильнее модель, тем больше она помогает команде быстрее создавать следующее поколение моделей; следующее поколение моделей становится лучшими исследователями и дополнительно сокращает время следующего цикла разработки.

Таким образом, несмотря на кажущееся противоречие этих двух сил, они основаны на одной и той же предпосылке: автоматизированное ИИ-исследование превращается из отдаленной идеи в конкретную инженерную задачу.

Возвращение Вэна в OpenAI свидетельствует о том, что рекурсивное самоулучшение уже начало получать специализированные организации и ответственных лиц; готовность NVIDIA инвестировать огромные средства и последние вычислительные мощности после ознакомления с секретными исследованиями SSI указывает на то, что новый подход к обучению, по крайней мере, достиг стадии, когда его стоит масштабировать и проверять.

Петиционеры требуют подготовить тормоза не потому, что считают, что этот путь не удастся, а именно потому, что начинают всерьез задумываться о том, что произойдет, если он удастся.

Настоящее различие заключается не в том, следует ли ИИ помогать людям в проведении исследований. Генерация кода, поиск статей и автоматизация экспериментов уже давно вошли в лаборатории. А в том, когда ИИ постепенно превращается из инструмента, повышающего эффективность исследователей, в систему, способную самостоятельно предлагать гипотезы, проводить эксперименты, оценивать результаты и корректировать следующий цикл, на каких этапах человек должен сохранять право принимать решения.

Это означает ряд вопросов, требующих обсуждения: кто устанавливает цели оптимизации? Кто определяет, не нарушило ли изменение, казалось бы, улучшившее результаты, безопасностные границы? Когда несколько лабораторий находятся в конкуренции, какая компания согласится самостоятельно приостановить эффективную итерацию? Если цикл разработки модели действительно сократится с года до нескольких месяцев или недель, смогут ли внешние оценщики и внутренние команды безопасности успевать за этим темпом?

Сейчас компании в сфере ИИ соревнуются не только за создание популярных моделей, а за систему разработки, способную постоянно создавать более мощные модели.

С одной стороны — ведущие исследователи, такие как Илья и Вэнь Ли, стремящиеся найти новые способы итерации, чтобы ИИ участвовал в собственной эволюции; с другой — тысячи исследователей из той же отрасли требуют заранее подготовить механизм замедления. Между этими позициями лагеря постоянно меняются, и позиции не противостоят друг другу напрямую: все сталкиваются с общей проблемой: когда инструменты исследования начинают ускорять само исследование, кто решит, когда должен появиться следующий поколение ИИ?