Лауреат премии Тьюринга, отец усиленного обучения Ричард Саттон критикует текущие генеративные ИИ за внутренние ограничения: хорошая часть не нова, а новая часть — нехороша.
Автор статьи, источник: Новомир
ИИ: Хорошая часть не нова, новая часть не хороша
Одна из самых ядовитых оценок в академическом кругу:
Эта работа и новаторская, и отличная.
К сожалению, хорошее не новое, а новое — не хорошее.
Однако Ричард Саттон, один из основоположников области усиленного обучения, автор учебника «Усиленное обучение» и лауреат премии Тьюринга, обратил этот анекдот против всей генеративной ИИ.
Он сказал: эта оценка применима к большинству современных ИИ, с которыми мы сегодня знакомы.
ИИ: Хорошая часть не нова, новая часть не хороша
Основной тезис Саттона чрезвычайно прост, до жестокости.
Генеративный ИИ по сути является обучением с учителем.
Логика обучения с учителем заключается в том, чтобы показать модели большое количество примеров, созданных людьми, чтобы она могла научиться имитировать их.
Чем точнее имитация, тем выше оценка.
Возникает вопрос.
Когда модель строго генерирует содержимое на основе обучающих данных, качество вывода высоко, поскольку она воспроизводит уже проверенные людьми хорошие вещи. Но это не ново. Это просто повторное оформление известных человечеству вещей с использованием разных комбинаций.
Когда модель пытается отклониться от обучающих данных и генерировать по-настоящему новое содержание, качество рушится. Потому что у неё нет никакого внутреннего механизма для оценки «насколько хорош этот новый элемент». Она только генерирует, но не оценивает.
Вот это и есть структурное противоречие:
Новизна и качество в рамках рамок чисто надзорного обучения — это противоположные концы весов.
Если вы нажимаете на один конец, другой поднимается.
Это не инженерная проблема. Ее нельзя решить просто за счет увеличения объема данных, масштабирования модели или добавления большего количества GPU.
Саттон использовал крайне резкую аналогию: «галлюцинации» — наиболее критикуемый недостаток крупных моделей — по сути являются побочным продуктом попыток модели быть «оригинальной».
Мы ненавидим галлюцинации, что лишь доказывает один факт: нам вообще не нужна новизна. Нам нужна качественная имитация.
Хорошо — не ново, ново — не хорошо.
Токсичный отзыв рецензента из того анекдота точно описал внутренние ограничения всей генеративной ИИ.
Настоящее «открытие» требует комплект из трех предметов
Саттон, исходя из первых принципов, разобрал «трехкомпонентную формулу» креативности:
Истинное открытие (Discovery) = вариация (Variation) + оценка (Evaluation) + селективное сохранение (Retention).
Любая настоящая творческая деятельность и открытие требуют трех шагов, каждый из которых незаменим:
1. Вариации создают возможность разнообразия. Они могут быть случайными или основанными на существующих знаниях, но должны содержать настоящую неопределенность — иначе это не исследование, а поиск по таблице.
2. Оценка (Evaluation): определение, какие варианты имеют ценность. Это требует четкой цели или критерия, позволяющего отличить «хорошее» от «плохого».
3. Селективное сохранение: оставьте полезные вариации, чтобы они влияли на будущие действия и обучение.
Эти три шага не являются изобретением Саттона. Это логика естественного отбора, логика научного метода, логика человеческого обучения.
Эволюция: случайные генетические мутации (вариации) → отбор средой (оценка) → выживание наиболее приспособленных (селективное сохранение).
Научный метод: формулировка гипотезы (вариация) → экспериментальная проверка (оценка) → публикация статьи (селективное сохранение).
Человеческое обучение: попробовать различные решения (мутации) → проверить правильность (оценка) → запомнить эффективные методы (селективное сохранение).
Сейчас генеративный ИИ выполнил только первый шаг Троицы: практически без оценки, не говоря уже о селективном сохранении,
Это как лучник, который случайно стреляет из лука, но с завязанными глазами: после выстрела он не смотрит на мишень и не корректирует свою позу в зависимости от результата.
Ты называешь это выпустить десять тысяч стрел; иногда одна попадет в цель, но она никогда не знает, почему попала.
Тогда ученые еще нужны?
Здесь вы можете почувствовать некоторую тревогу: если в будущем ИИ действительно сможет самостоятельно выполнять «открытие» в его трёх аспектах, не потеряют ли ученые свои рабочие места?
Самый ответ Саттона: не может быть заменен, но роль должна полностью измениться.
В своей речи он сказал, что даже ИИ, способный самостоятельно доказывать математические теоремы, все еще нуждается в людях, чтобы сообщить ему, какие вопросы важны.
Это не скромность, а реальные границы познания.
Математик Шицянь Ма, эксперт в области оптимизации из Университета Райс, сказал: он использовал ChatGPT, чтобы доказать сходимость алгоритма, над которым работал в течение шести лет.
В кратком содержании есть одно предложение:
Подтверждено ChatGPT 5.5, проверено автором.
Этот алгоритм называется BDRS, полное название — Bregman Douglas-Rachford Splitting, и он используется для решения задач оптимальной транспортировки (Optimal Transport).
Название статьи: Метод расщепления Брегмана — Дугласа — Рачфорда
Адрес препринта:
Это то, что он и его соавторы разработали сами, и его мучило шесть лет — доказательство сходимости, то есть математически строгое объяснение «почему это работает».
Платформа препринтов arXiv после получения заявки до сих пор оставляет её в ожидании.
Он предположил, что причина в том, что в аннотации есть три слова «ChatGPT», и платформа не знает, как обрабатывать такие статьи.
Но могут ли люди быть заменены ИИ?
Его ответ: нет. Он прямо сказал:
Я считаю, что ИИ не может творчески предложить такой алгоритм и заявить: «Это эффективный алгоритм для оптимальной транспортировки, теперь я попробую доказать его сходимость».
Без человеческого руководства ИИ не знает, какую проблему решать.
Это утверждение точно соответствует Саттону: сама проблема должна быть определена человеком.
Он потратил шесть лет, чтобы «задать правильный вопрос»:
Какие вопросы задавать, на самом деле требует от вас очень глубокого понимания этой темы.
В данном случае я изучал эту проблему в течение шести лет, поэтому я точно знаю, в чем заключаются трудности.
Эти шесть лет не были потрачены впустую, а являются предпосылкой.
Именно эти шесть лет позволили ему понять, где именно застрял доказательный процесс, почему все предыдущие пути оказались неудачными, и какой направляющий совет от ChatGPT стоит продолжать, а какой — иллюзией.
И это не один раз, а пять месяцев. Это самое часто неправильно понимаемое место — сам он тоже когда-то ошибался:
С января по май, целых пять месяцев, бесчисленные разговоры, каждый намек приближал к доказательству.
Он суммирует чрезвычайно ясно:
Суть исследования не изменилась — это всё тот же процесс проб и ошибок. Изменилась скорость каждой попытки: раньше на проверку одного направления уходили недели, а теперь за минуты можно понять, ведёт ли этот путь к успеху.
Но вклад ИИ неизгладим:
Затем, в конце — прямо в божественное состояние:
Возвращаясь к моей статье о сходимости BDRS, я довольно уверен, что доказательство верно.
Но если вы обнаружите какие-либо ошибки, вся ответственность лежит на мне — не вините ChatGPT, ему всего 3,5 года.
Суть этой фразы в её двойственности: это искреннее заявление о ответственности и точная метафора.
«3,5 года» описывает реальное положение ИИ сейчас: поразительные способности, но недостаточный опыт суждений.
В конце концов, люди никогда не ожидали, что трехсемилетний ребенок сможет внести какой-либо вклад.
Хотя вы не можете передать окончательное право подписи доказательства ИИ, вы также не можете притворяться, что ИИ не внес никакого вклада.
Именно поэтому настоящие научные открытия не исчезают в руках человека.
Напротив, он будет более жестко отбирать людей: только те, кто может задавать хорошие вопросы, заслуживают сильного ИИ.
В будущем ученые, не использующие ИИ, могут оказаться так же устаревшими, как астрономы, не использующие компьютеры.
Наконец, давайте вспомним заявительные слова Саттона:
Если мы хотим полностью раскрыть потенциал научных сотрудников в области ИИ, мы должны делиться с ними нашими целями, чтобы они могли создавать, оценивать и открывать новое, полностью участвуя в достижении этих целей.
Давайте будем смелее! Давайте полностью автоматизируем творчество и открытия!