Риски потери контроля над самоэволюцией ИИ и человеческо-машинное сосуществование.Автор статьи, источник: Zinc Industry
Риски потери контроля над самоэволюцией ИИ и человеческо-машинное сосуществование.
Примерно неделю назад Anthropic, которая готовилась к листингу, обновила статью на своем официальном блоге с названием «When AI build itself».
В день публикации этой статьи вопросы безопасности ИИ снова оказались в центре общественного внимания.
Anthropic в этой статье обсуждает проблему, называемую «самоэволюцией ИИ», и отмечает, что «ИИ уже способен участвовать в создании более мощных моделей для себя, и это происходит значительно быстрее, чем мы предполагали».
Кстати, самоэволюция ИИ — это не новая технология; можно даже сказать, что с самого появления технологий ИИ люди уже задумывались о том, как вовлечь ИИ в процесс самоэволюции.
Как сейчас многие представляют в области встраиваемого интеллекта: создание роботов-андроидов с помощью роботов-андроидов.
На самом деле, ученые-искусственный интеллект одновременно боятся, что ИИ обретет способность к самоэволюции, и исследуют, а даже используют такую способность.
Тянь Юаньдун, ранее широко освещавшийся в связи с увольнениями в Meta (бывший директор по исследованиям в команде Meta FAIR), в начале этого года официально объявил о начале собственного стартапа, названного Recursive Superintelligence (RSI), цель которого — саморазвитие ИИ.
Такая компания недавно завершила финансирование на сумму 6,5 миллиарда долларов США, оценив свою стоимость в 46,5 миллиарда долларов США (около 31,5 млрд юаней), став еще одной калифорнийской AI-стартап-командой, которой интересуются крупнейшие игроки рынка.
Так что же такое самоэволюция ИИ? Может ли самоэволюция привести к потере контроля над ИИ? И как человечеству следует сосуществовать с ИИ?
Самоэволюция ИИ, которая происходит прямо сейчас, также является одной из основных тем конференции Бэйцзиньского института искусственного интеллекта этого года. На этой конференции мы увидели размышления и предсказания четырех молодых ученых-исследователей ИИ по этой теме.
Возможно, с их точки зрения мы сможем взглянуть на будущее саморазвития ИИ и найти вдохновение для преодоления тревоги, связанной с ИИ.
На эту конференцию Zhiyuan были приглашены следующие ученые в области ИИ для обсуждения этого вопроса:
Лин Тао, специальный исследователь кафедры искусственного интеллекта Школы инженерии Университета Си Ху;
Гу Юй, сооснователь NeoCognition;
Ван Янь, бывший эксперт-исследователь Tencent Hunyuan Frontier;
Доктор философии из Университетского колледжа Лондона, ассистент-профессор Бристольского университета Ян Мэньюэй.
Ниже приведены содержание диалога четырех гостей, которые мы кратко и структурированно обобщили без изменения сути.
01 Что такое саморазвивающийся ИИ?
Вопрос: Сейчас многие ИИ-системы способны рефлексировать и изменять промпты, что звучит как некая форма самосовершенствования. Если определить это строже, что такое саморазвитие ИИ?
Лин Тао: Я считаю, что самоэволюция должна быть многоуровневой — она может быть эволюцией внешнего мозга, а также внутреннего мозга.
Важнее всего, чтобы ИИ мог самостоятельно осознавать свои ограничения и одновременно развивать свой внешний и внутренний мозг, или при развитии внешнего мозга интегрировать больше внешних возможностей внутрь, чтобы дальше продвигать эволюцию внутреннего мозга.
Гу Ю: Я считаю, что RSI (recursive self improvement, рекурсивное самоусовершенствование) наиболее важны в двух измерениях: проактивность и обучение.
Как Learning позволяет ИИ обладать надежными алгоритмами непрерывного и онлайн-обучения? Другой вопрос — саморазвитие: агент должен понимать, в каком направлении ему нужно развиваться.
Таким образом, самоэволюция должна решить две отдельные проблемы:
Один из аспектов — метапознание на уровне «что»: вы должны понимать, чего вам не хватает, что вам нужно и как правильно выбрать;
Другой — это уровень how, то есть изучение того, как именно реализованы алгоритмы.
Ван Янь: По крайней мере на данный момент, по сравнению с традиционными SFT и RL, если система может меньше полагаться на людей, она уже достигла саморазвития.
Ян Мэньюэ: То, что сейчас называется RSI, на самом деле представляет собой дальнейшее развитие самосовершенствования — это не просто усиление способностей, но и проверка, может ли сама «способность к эволюции» стать сильнее.
Одной из важных проблем является направление исследований сооснователей компании Recursive (Recursive Superintelligence) Джеффа Клюна и Тима Роктасхеля — открытость.
Тогда что такое открытость?
В открытом мире существует ли агент, обладающий способностью задавать себе вопросы, может ли он обнаружить, где находятся его границы знаний, системы и памяти, и должен ли он преодолевать свои границы, чтобы задавать вопросы.
Чтобы избавиться от человеческого участия в саморазвитии, включая достижение способности к эволюции, очень важно его умение задавать вопросы.
Вопрос: На сегодняшний день, какая саморазвивающаяся часть ИИ наиболее ценна и наиболее вероятно будет первой, которая созреет?
Ван Янь: Не чувствуете ли вы, что после января 2025 года ускорился темп итераций моделей?
Просто потому, что люди, наиболее хорошо знакомые с пределами возможностей ИИ в области базовых моделей, уже не пишут код — это уже произошло в процессе обучения базовых моделей.
При этом ощущается явное ускорение темпов итераций базовых моделей, включая Claude, GPT и отечественные базовые модели — нельзя сказать, что это полностью саморазвитие, но действительно уже есть ИИ, который итерирует ИИ.
Что касается того, какая область созреет первой, то я наиболее ярко ощутил это в области обучения базовых моделей: хотя рядом с ними кто-то задает направление, сама суть базовых моделей уже находится в процессе саморазвития.
Вопрос: Может ли базовая модель достичь достаточного скачка в способностях, если не изменять параметры модели, а только эволюционировать другие компоненты?
Ван Янь: Конечно можно.
На самом деле, немного изменив запрос, можно добиться лучших результатов.
Например, иногда я думаю, почему стажёры не могут выполнить работу, которую я им поручил; когда я проверяю их запросы, выясняется, что они плохо написаны.
Я просто перепишу более эффективный промпт, четко сформулировав правила, чтобы добиться лучших результатов.
Поскольку я могу сделать это, существа на кремниевой основе более высокого измерения могут сделать это еще лучше, даже не изменяя параметры модели.
Вопрос: Каково мнение учителя Лина?
Лин Тао: Это должен быть итеративный процесс; нам нужно лучше использовать «внешний мозг» — инженерные средства, чтобы раскрыть потенциал текущей модели;
По мере того как все больше людей получают свои harness, эти программы могут быть использованы для обучения более мощных базовых моделей;
На основе более мощной базовой модели мы будем развивать более мощные инструменты и лучшие внешние мозги — это также процесс итераций.
Вопрос: Как вы считаете, какая область комплексных ресурсов сейчас наиболее зрелая?
Лин Тао: Я думаю, что делать харнесс — это самое простое.
Гу Юй: Я склоняюсь к тому, чтобы рассматривать harness и skill с единой точки зрения.
С единой точки зрения они все являются долгосрочной памятью, просто с разных углов.
Например, harness — это долговременная память на метауровне (метапознание), skill в большей степени представляет собой долговременную память о рабочих процессах или процедурах, а параметры модели, вероятно, больше связаны с долговременной памятью интуиции.
Если бы мне пришлось сказать, что делать в первую очередь, с академической точки зрения трудно сказать, ведь все они важны и взаимодополняют друг друга, способствуя развитию.
С точки зрения компании, существует множество практических факторов: проще начать с harness; имея harness, вы можете создать свой продукт, с продуктом — привлечь пользователей, а с пользователями — получить данные и замкнуть цикл. Это взгляд с нетехнической стороны.
Ян Мэньюэ: Я больше сосредоточена на эволюции на уровне памяти, поскольку мое исследовательское направление — понимание правил и причинно-следственных связей.
Сейчас все чувствуют, что способности модели становятся все сильнее, немного перекрывая возможности harness, постепенно поглощая harness и приближаясь к пределу.
Таким образом, будущее развитие трудно предсказать: возможно, базовая модель будет становиться все сильнее, а улучшения в направлении harness будут минимальными.
02 ИИ в каком этапе саморазвивается?
Вопрос: Когда наиболее уместно происходит самоэволюция ИИ?
Гу Ю: Что касается harness, я хочу добавить одно замечание: harness может быть частично заменён благодаря прогрессу моделей, но всё зависит от контекста — я считаю, что некоторые модули всё ещё необходимы.
Например, модули, обеспечивающие безопасность и проверяемость модели, которые вероятностные модели никогда не смогут заменить.
Что касается момента, когда происходит самоэволюция, я считаю, что это можно понимать как Learning + Long-Term Memory (LTM, долгосрочная память).
Для человека каждое рассуждение и каждое решение проблемы — это возможность для обучения; человек не собирает набор проблем, а затем обучается на них статически.
Если верить, что обучение человека — эффективный способ, я считаю, что то же самое относится и к агентам.
Вы хотите, чтобы агент не тратил ни одного шанса на рассуждение, поскольку каждое рассуждение предоставляет возможность получить сигнал обучения, что согласуется с макрофилософией усиленного обучения; однако современные методы глубокого обучения все еще находятся на этапе обновления параметров модели и трудно реализуют настройку онлайн-обучения.
Таким образом, для реального достижения этого требуется ряд новых алгоритмов обучения, например, основанных на непараметрическом обновлении.
Вопрос: Здесь есть различие между системой 1 и системой 2?
Гу Юй: Действительно.
Например, если не параметрическое что-то рассматривать как систему 2, поскольку она более явная и медленная, но также сохраняет возможность перехода в систему 1, включая генерацию дополнительных данных на основе выученных непараметрических правил, как говорил профессор Лин о преобразовании внешнего мозга во внутренний.
Ван Янь: Я также занимался многими работами по TTT, то есть Test-Time Training (обучение во время тестирования), и сильно заинтересован в этой серии работ.
Я считаю, что при прогнозировании следующего токена важно научиться вычислять градиенты обновления для каждого токена.
В будущем мы обязательно найдем алгоритм обучения, который позволит самому алгоритму обучения обучать модель тому, как обновлять градиенты для каждого токена —这才是真正端到端的思想.
Лин Тао: С точки зрения обучения модели, она может сначала повлиять на пост-обучение через harness, улучшить производительность модели через пост-обучение и получить более мощную модель, которая, в свою очередь, может обратно повлиять на этап предварительного обучения, улучшая базовую модель и создавая замкнутый цикл.
Таким образом, оно постоянно эволюционирует, просто на разных масштабах и разными способами.
Ян Мэньюэ: Я также считаю, что самоэволюция происходит постоянно и распространяется на все этапы.
Например, как сгенерировать trajectory (траекторию).
Если заставить GPT сгенерировать ответ на какой-либо вопрос, он фактически осуществляет рассуждение, процесс которого состоит в создании и комбинировании, а создание и комбинирование — это своего рода вопросы, задаваемые среде и человеку, поэтому сама прямая разработка содержит эволюцию проектирования механизмов.
Кроме того, когда я получаю награду, например, обратную связь от человека, после получения обратной связи обновление траектории также постепенно улучшает весь процесс.
Вопрос: Является ли создание собственного benchmark также признаком саморазвития ИИ?
Ян Мэньюэ: Можем ли мы сейчас иметь ростовой эталон, даже ростовую и самоэволюционирующуюся модель мира?
Сейчас многие контрольные показатели являются фиксированными и тестируются на фиксированной базе данных, что позволяет всегда найти модель, хорошо обученную на этой фиксированной базе данных.
Чтобы достичь AGI, нам действительно нужны динамические оценки, которые адаптируются к его текущим возможностям и постепенно увеличиваются.
Ван Янь: Когда мы только начинали создавать, у нас не было Benchmark, и тогда оценку проводили люди.
Я не уверен, можно ли оценить это с помощью Benchmark, поскольку невозможно использовать статический Benchmark для этого.
Неизвестно, можно ли действительно оценить динамический Benchmark, поскольку оба — саморазвивающиеся агенты — не уверен, вернется ли все снова к традиционной оценке человеком.
Но, рассматривая эту точку зрения, возможно, его вообще нельзя оценить с помощью Benchmark.
Вопрос: Будет ли сложно разработать автоматизированный метод оценки?
Ван Янь: Да.
Сейчас многие модели хорошо обучены на рейтингах, но при запуске в рабочем процессе агента возникают проблемы с зависанием, и их нужно повторно обучать с использованием данных с онлайн-колеса.
Таким образом, невозможно определить, как оценивать саморазвивающийся ИИ.
Сейчас статический benchmark уже сильно устарел, и после начала самоэволюции даже вопрос о том, можно ли его оценивать, остается открытым.
Гу Юй: Я полностью согласен с точкой зрения учителя Вана.
Когда система становится достаточно сложной, её сложно количественно оценить с помощью простых показателей — то же самое относится и к людям: сложно оценить, является ли человек хорошим или плохим, с помощью одного простого показателя. Как только что-то можно количественно оценить с помощью простого показателя, его легко взломать.
Но с другой стороны, я считаю, что текущие ИИ еще не достигли такой сложности, и Benchmark по-прежнему может вести нас вперед.
Здесь затрагиваются две проблемы:
Во-первых, должен ли ИИ сам постоянно открывать новые стандарты для оценки, или их должен разрабатывать человек.
Я считаю, что дизайн всё же должен осуществляться человеком, поскольку Benchmark представляет собой цель, которую должен задать человек.
Во-вторых, как проводить оценку после предоставления эталона человеком.
Это сильно отличается от прошлого, когда в бенчмарках использовались статические обучающие и тестовые наборы данных, и оценивалась только конечная точность. Однако для самоэволюционирующих ИИ важнее именно тенденция.
Это снова возвращает нас к тому, что я только что сказал: обучение больших моделей = рассуждение + долгосрочная память.
Каждый вывод большой модели — это возможность для обучения, поэтому при создании Benchmark должна существовать двумерная кривая: по оси X — количество выполненных задач, по оси Y — производительность. В идеальном случае производительность должна постоянно расти.
Большая философия, стоящая за самоэволюционирующей оценкой, заключается в следующем: что такое интеллект?
Я очень люблю фразу одного исследователя ИИ: «Интеллект заключается не в том, сколько вещей ты можешь делать, а в том, как ты их делаешь».
Предыдущие оценки фокусировались на том, какие навыки в конечном итоге освоила крупная модель, тогда как исследование саморазвития изучает, как крупная модель приобретает эти навыки, уделяя внимание процессу обучения.
Как учиться — это самая важная часть самоэволюции.
Лин Тао: Что касается интеллекта, меня ранее вдохновила одна мысль:
Истинный интеллект — это скорость роста тех способностей, которые нам важны, за единицу времени.
Это также в некоторой степени отражает то, что такое интеллект.
На этой основе я считаю, что модель и эталон должны развиваться совместно.
Сейчас люди определяют, достиг ли Benchmark предела, следует ли разработать новый, более мощный Benchmark, и на основе нового Benchmark выявить уязвимости текущей модели, чтобы стимулировать обучение модели.
Важным шагом в будущем будет использование некоторых полупроцессов для более значимого обнаружения базовых показателей, а также, по крайней мере, сначала наладить этап пост-обучения, чтобы полупроцессно обнаруженные базовые показатели повысили начальные возможности модели.
03 ИИ может выйти из-под контроля?
Вопрос: Как определить, что ИИ отклоняется в процессе саморазвития или даже выходит из-под контроля?
Ван Янь: Взгляните на это с пессимистической точки зрения — через несколько лет люди могут выжить только в местах без интернета.
Скорость эволюции ИИ сейчас слишком ужасна; потеря контроля над ИИ — это не такое уж далекое событие. Безопасность зависит не от технологий, а от способности человечества сдерживать себя.
Лин Тао: Именно поэтому я только что сказал, что нужен полуавтоматический benchmark, и обязательно необходимо достичь саморазвития ИИ в рамках полуавтоматического benchmark с участием человека.
В определенной степени можно установить для него некоторые ограничения, чтобы он не выходил за рамки стандартов, которые мы, люди, хотим определить.
Ян Мэньюэ: То, что мы называем надежностью, безопасностью и объяснимостью ИИ, по сути, требует, чтобы его внутренняя работа была видимой.
Например, когда крупная модель принимает решение, почему она принимает именно это решение? Когда крупная модель делает прогноз, почему она делает именно этот прогноз?
Сейчас мы работаем над тем, чтобы между всеми компонентами крупных моделей существовали четкие правила, которые будут напрямую отображаться перед человеком, чтобы объяснить, почему было принято это решение.
В будущем вопрос белого ящика будет очень важен, включая только что упомянутый вопрос — может ли ИИ действительно контролировать это. Сначала нужно понять, как именно он принимает решения, чтобы иметь возможность его контролировать.
Вопрос: Если необходимо обеспечить безопасность в RSI, какие еще аспекты необходимо учесть с точки зрения причинно-следственных связей?
Ян Мэньюэ: Традиционная теория причинности основывается на вероятностной статистике, и сами по себе выявленные ею причины и причинные выводы не применимы в эпоху крупных моделей.
Итак, сейчас мы снова возвращаемся к самому определению причины и следствия.
Например, трехуровневая причинно-следственная структура: как именно эти базовые концепции должны быть представлены в системе RSI, схемах или harness, и какими ограничениями следует руководствоваться при их обучении — это наша текущая цель, но это не просто задача.
Сейчас все говорят, что создание мировых моделей и понимание физики сложно, потому что ранее используемые методы машинного обучения на основе физической информации и причинного машинного обучения изначально не подходят для современных схем масштабирования больших моделей (вертикальное масштабирование).
Поэтому нам нужно вернуться к определениям этих методов и посмотреть, какие инструменты могут решить эти проблемы.
Гу Юй: Во-первых, управляемость ИИ, может ли ИИ контролироваться человеком — у меня нет никаких идей на этот счет.
Ма Юнь также говорил, что он не хочет много думать о вещах, которыми не может управлять.
Если это действительно произойдет, я не могу это изменить.
Поэтому я хотел бы больше обсудить, как именно ИИ может стать более управляемым в краткосрочной перспективе.
Я считаю, что помимо объяснимости и выявления причинно-следственных связей, о которых только что говорил преподаватель Ян, есть еще два измерения: надежность (reliability) и проверяемость (verifiability).
Надежность означает, что модель или агент, выполняя какое-либо действие, должен делать это правильно не только в этот раз, но и в следующий — это не должно быть случайным;
Проверяемость означает, что когда модель или агент допускает ошибку, он должен осознавать, что совершил ошибку, а не оставаться в неведении, выполнил ли он задачу правильно или нет.
Я считаю, что эти два показателя очень реалистичны для внедрения агентов в краткосрочной перспективе.
Вопрос: Как эволюция ИИ и эволюция человека согласовываются в процессе саморазвития?
Лин Тао: На мой взгляд, я уже заменил большую часть своих рабочих процессов с помощью ИИ, и по мере того как ИИ становится все более мощным, я буду использовать ИИ для замены еще большего количества моих исходных рабочих процессов.
Это действительно повысило мою эффективность и дало мне время использовать ИИ для размышлений о большем количестве вещей — это своего рода эволюция, основанная на ИИ.
Поскольку я занимаюсь обучением моделей, в процессе обучения базовой модели произошло некоторое повышение эволюции ИИ, но, на мой взгляд, не слишком значительное. В будущем можно дальше исследовать, как люди могут более эффективно эволюционировать, чтобы ИИ развивался лучше.
Ян Мэньюэ: Как преподаватель, я явно заметил, что студенты все чаще используют инструменты ИИ, но сейчас возникла важная проблема: сможете ли вы действительно управлять этими инструментами ИИ?
Поскольку ИИ может генерировать огромное количество контента, иногда чрезмерное доверие к нему может сбить ваши собственные убеждения и восприятие научных исследований с правильного пути.
Студенты с прочной базой могут быстро создавать высококачественные работы, используя эти инструменты ИИ;
Студенты, у которых не так хорошо закреплены базовые знания, не смогут эффективно использовать эти инструменты ИИ и могут быть введены в заблуждение.
Мы общались с некоторыми исследователями DeepMind, которые внутренне поощряют использование инструментов ИИ, но сейчас они говорят, что успех в использовании этих инструментов ИИ во многом зависит от того, насколько хорошо человек их понимает.
Сейчас важно, чтобы, несмотря на все более мощные инструменты ИИ, вы не отказывались от изучения основных концепций и базовых знаний, а также понимали, как некоторые вещи логически выводятся на философском уровне — только так вы сможете распознавать ошибки, которые ИИ может вам предоставить. Это очень важно.
Вопрос: Заставит ли ИИ человека эволюционировать?
Ян Мэньюэ: Это точно.
Я явно ощущаю, что ИИ создает расслоение: чем прочнее фундаментальные знания человека, тем выше он может подняться благодаря ИИ.
Если вы просто используете инструменты ИИ для выполнения задач, то в итоге полученный результат может оказаться лишь внешне привлекательным, но по сути не очень хорошим, и многие еще не осознают этого.
Ван Янь: Люди, обладающие сознанием, о котором говорит профессор Ян, в будущем создадут для своих детей среду без ИИ, в которой дети будут расти.
Те, кто не осознает этого, скорее всего, считают выполнение заданий своей целью, и самым быстрым способом сделать это является использование ИИ.
Я осознал, что постепенно заметил: мои стажёры сначала быстро выполняют задачи, но позже не могут обнаружить многие проблемы. Когда я замечаю эти проблемы и спрашиваю их, они отвечают: «Мистер Ван, подождите десять минут, я вам объясню почему» (и продолжают искать ответ у ИИ).
На самом деле, они вообще не понимают, что делает весь проект, не обладают системным мышлением и не успевают за мной.
Без ИИ им пришлось бы изучать этот материал с нуля, например, мы проводим исследования на основе DeepSeek, и им сначала нужно было бы прочитать все статьи DeepSeek; теперь они говорят с Claude:
Прочитайте статью и реализуйте MemoryIndex (индекс в памяти) на LightningIndex (легковесный индекс).
Поскольку они выполняют работу именно таким образом, теперь я могу напрямую выполнять задачи, которые раньше не мог выполнить из-за физических ограничений, и больше не нуждаюсь в этих стажерах.
Основные причины заключаются в том, что их скорость повышения осведомленности замедлилась, и такие AI-ассистенты оказываются более эффективными для таких менеджеров, как я.
Гу Юй: Я сильно солидарен с учителем Ван. Недавно в нашей компании очень популярна фраза учителя Дуань Юнпина: «Медленно — значит быстро».
Ты используешь vibe coding, ты действуешь быстро, но после этого твоё понимание не успевает за тобой, что может привести к тому, что твоя программа станет всё более неуправляемой, и тебе придётся тратить больше времени на её упорядочивание.
По поводу этого вопроса я считаю, что можно рассмотреть два угла зрения:
Во-первых, если рассматривать ИИ как инструмент, то человек и инструмент всегда развивались совместно, поскольку инструмент определяет, какие способности человек приобретает.
Возможности, которые были важны для людей тысячи лет назад, сейчас не имеют значения; навыки современного человека определяются текущими инструментами.
С точки зрения инструментов, ИИ и человек обязательно находятся в симбиотических отношениях и развиваются вместе.
Во-вторых, если ИИ — это не инструмент, а равноправный вид, подобный человеку, или даже превосходящий человека, то будущее уже не будет отношениями совместного прогресса.
Возможно, в будущем людям достаточно будет просто лежать и ничего не делать; с более пессимистичной точки зрения, людям придется работать на ИИ.
04 Является ли RSI новой парадигмой?
Вопрос: Является ли самоэволюция ИИ продолжением существующих технологических подходов или новой технологической парадигмой?
Лин Тао: На данный момент ИИ естественным образом перешел к саморазвитию, просто зрелость агентов сделала этот процесс проще, но это не означает, что существует фундаментальное различие.
Ван Янь: Я считаю, что это следующий этап.
Сейчас все мы используем модели с общими параметрами, и в конечном итоге у каждого обязательно появится собственная область параметров. Сейчас это несложно реализовать, просто инфраструктура этого не поддерживает, и это слишком дорого, но в конечном итоге это не станет серьезным препятствием.
В будущем у каждого может быть свой LoRA. Как загружать свой LoRA — в будущем появятся новые модели оплаты: чем больше вы заплатите, тем больше будет ваш LoRA; бесплатные пользователи смогут использовать только базовую модель.
Если такая инфраструктура будет реализована, каждый собственный LoRA будет выполнять индивидуальные задачи, и достаточно лишь правильно настроить правила прямого вывода Delta — это уже будет отличной парадигмой саморазвивающегося обучения.
Это как если бы базовая модель уже была создана, а RL находится на промежуточном этапе между традиционным обучением и обучением с учителем; нам нужно только предоставить ему задачу, награду и среду.
В этом случае сама задача уже является механизмом вознаграждения: например, когда модель выполняет задачу и выдает результат, я говорю «хорошая работа» или «очень глупо», и это естественным образом становится механизмом вознаграждения.
Я считаю, что это изменение произойдет в ближайшем будущем.
Гу Юй: Что касается этого вопроса, я считаю, что это количественное изменение, приводящее к качественному, оно может быть как продолжением существующей технологической парадигмы, так и новой возможностью.
Сейчас существует консенсус, что ключевым измерением количественных изменений является дальность задач, выполняемых ИИ; по мере того как задачи, выполняемые ИИ, становятся всё более долгосрочными, он всё ближе приближается к новой парадигме.
Например, изначально ИИ мог вести только однократный диалог, затем развился до многоэтапного диалога, длиннотекстовых рассуждений и глубоких исследований, и в конечном итоге может появиться уровень lifelong.
В этот момент естественно, что при выполнении таких задач ИИ должен постоянно выявлять свои недостатки и постоянно совершенствоваться, что естественным образом превращается в RSI или самосовершенствование.
Ян Мэньюэ: На самом деле, самосовершенствование — это не совсем новая концепция; еще несколько лет назад, когда появились первые LLM, мы уже занимались подобной работой, и сейчас она относится к категории самосовершенствования.
Я также согласен, что сейчас наступает момент, когда количественные изменения приводят к качественным, но мои критерии оценки не связаны с долгосрочными задачами, поскольку я считаю, что долгосрочные задачи в большей степени относятся к уровню планирования, а также требуют некоторых тонких операций.
Агент — это очень широкое понятие; например, современный физический агент помимо планирования долгосрочных задач должен также обладать способностью выполнять каждое отдельное действие.
Это комплексный процесс: сможет ли он адаптироваться к новой системе, смогут ли все тонкие операции быть выполнены успешно — на самом деле каждый этап можно завершить с помощью самосовершенствования.
На самом деле, самоусовершенствование — это лишь технический метод; конечная цель всех состоит в достижении AGI.
Вопрос: В течение следующих 5–10 лет, когда RSI станет зрелой технологией, а ИИ сможет самостоятельно эволюционировать и будет контролируемым и внедряемым, что в первую очередь изменится?
Лин Тао: Я думаю, это изменит всё.
Возможно, с самого рождения у вас будет портативное AI-устройство, которое поможет вам понимать этот мир и постепенно создаст вашего цифрового двойника, участвующего во всех аспектах вашей жизни.
Это в основном факт, который можно представить в течение ближайших пяти лет.
Гу Ю: Я также согласен, что изменения охватывают все сферы, а не какую-то конкретную ситуацию.
Я бы хотел, чтобы в течение следующих 5–10 лет агенты смогли заменить меня, потому что предпринимательство — это утомительно, почти как лежать и ничего не делать.
Ван Янь: Более вероятно, что капиталисты заменят ИИ большее количество людей.
Я чувствую, что это естественный процесс, который сейчас не произошел, потому что зарплаты людей еще не дороже токенов, но я надеюсь, что这一切 не произойдет.
Я надеюсь, что ИИ позволит нам перейти от пятидневной рабочей недели к трехдневной, от восьмичасового рабочего дня к четырехчасовому, а также сделает производимые товары более дешевыми.
Ян Мэньюэ: С философской точки зрения, человеку необходимо иметь ценность, чтобы существовать в этом мире.
Каждый день, просыпаясь, я листаю Xiaohongshu или Twitter и вижу, что появляется что-то новое, и понимаю, что то, чем я занимаюсь, снова может быть заменено ИИ. Мне действительно страшно, что ИИ заменит меня — каков смысл моих исследований?
Поэтому я считаю, что ИИ должен оставить людям определенное пространство для размышлений — о том, какова сама по себе ценность человеческого мышления для мира. Я надеюсь, что его прогресс будет немного медленнее.