Джефф Дин о следующем этапе ИИ: от TPU к самоэволюционирующим агентам

На YC Startup School 2026 года голос Джеффа Дина был хриплым.

В начале интервью он объяснил, что потерял голос, и сегодня его звучание отличается от обычного. Но это не повлияло на внимание зрителей в зале. Дина Ху, партнер YC, сидящая перед ним, одним дыханием перечислила серию имен, достойных места в истории компьютерных наук: MapReduce, BigTable, TensorFlow, TPU, Gemini.

Любой из этих проектов достаточен, чтобы стать визитной карточкой карьеры инженера. Однако они все сосредоточены в резюме Джеффа Дина и группы инженеров Google, работающих с ним.

Диана не превратила интервью в обзор достижений. Ее больше интересует другой вопрос: когда генеративный ИИ уже охватил индустрию программного обеспечения, что именно сейчас интересует Джеффа Дина — человека, лучше всех умеющего перестраивать системы с нуля?

Ответ — не более крупные модели.

В течение этого часа обсуждения Джефф Дин неоднократно затрагивал вопросы аппаратного обеспечения для вывода, энергопотребления, перемещения данных, проектирования контекста, долгосрочно работающих агентов, автоматизированных экспериментальных систем и того, как стартапы могут избежать прямого столкновения с универсальными моделями. Хотя его высказывания кажутся разрозненными, за ними скрывается четкая основная идея: следующий этап ИИ — это не просто обучение моделей быть более умными, а помещение моделей в систему, способную работать длительное время, постоянно экспериментировать, автоматически проверять результаты и накапливать способности.

Это также означает, что конкуренция в области ИИ смещается с «у кого больше модель» на «кто лучше организует интеллект».

В мае 2025 года Джефф Дин сделал вывод, который вызвал широкое обсуждение: возможности ИИ уже приближаются к уровню младшего инженера.

Через год Диана спросила его, как реализовался этот прогноз?

Ответ Джеффа Дина был прямым. Он считает, что этот вывод «достаточно точен». Прогресс модели в области агентизации, длинного кодирования и сложных задач даже превзошел его ожидания.

«Способность модели справляться с все более сложными задачами растет быстрее, чем я ожидал», — сказал он.

Более того, эта способность больше не ограничивается написанием кода. Все больше систем агентов проникают в науку, инженерию и другие профессиональные области. Они не просто отвечают на вопросы, а разбивают задачи, используют инструменты, проводят эксперименты, анализируют результаты и продолжают действия на основе обратной связи.

Сравнение ИИ с младшим инженером заставляет людей сосредоточиться на замене человеческого труда. Но Джефф Дин больше интересуется другим аспектом: что изменится в организации производства, когда «младший инженер» можно скопировать десятки, сотни раз, и они будут работать параллельно в течение нескольких дней или даже недель?

В традиционной команде младшие инженеры должны освоить бизнес-процессы, понять инструменты и постоянно получать обратную связь. То же самое относится и к агентам. Только его обучающие материалы уже не ограничиваются документацией, а включают в себя подсказки, описания инструментов, файлы навыков, тестовые системы, оценщики и всю контекстную среду.

Это привело к появлению нового разделения труда в области AI-инженерии.

Раньше инженеры в основном занимались написанием кода. В будущем больше инженеров будут заниматься определением задач, созданием среды, написанием спецификаций, проектированием обратных связей и координацией группы агентов для выполнения задач.

Прогноз Джеффа Дина на 2027 год именно такой. Он считает, что системы машинного обучения все чаще будут участвовать в улучшении самих себя. Они будут разбивать цели на подзадачи, автоматически запускать множество экспериментов, сравнивать результаты и комбинировать эффективные решения для создания более мощных новых систем.

Где бы ни существовала измеримая цель, есть возможность добиться больших успехов.

This sentence is the first key to the entire interview.

Первые области, в которые проникла автоматизация на основе ИИ, — это не обязательно те, где больше всего знаний, а те, где обратная связь наиболее четкая. Можно ли пройти тесты кода, можно ли снизить площадь размещения чипа, можно ли повысить точность архитектуры модели, соответствуют ли свойства материала требованиям — у всех этих вопросов относительно четкие критерии оценки. Если оценщик достаточно надежен, машина может проводить повторяющиеся эксперименты с очень высокой частотой.

Таким образом, в эпоху ИИ настоящей важной единицей может стать не один ответ, а полный цикл: предложение решения, его реализация, измерение результатов и корректировка направления.

Многие из ключевых работ Джеффа Дина начались с очень простой идеи: сначала точно оценить порядки величин.

В 2001 году поиск Google все еще сильно зависел от жестких дисков. Жесткие диски обладали большой емкостью, но медленным временем доступа. Джефф Дин и Саньян Гемават провели оценку и обнаружили, что полный поисковый индекс Google на тот момент уже мог поместиться в памяти всех серверов.

Сегодня это звучит просто как обновление носителя данных. Но тогда это означало совершенно другую архитектуру системы.

Если индекс в основном находится на жестком диске, запросы должны ждать механического позиционирования. Как только индекс помещается в память, задержка доступа резко снижается. Двое быстро написали новую версию и развернули её в продакшн в течение нескольких дней. Поиск в Google стал значительно быстрее.

Эту историю легко представить как вспышку гения. Однако подход Джеффа Дина больше напоминает описание инженером очевидного: условия системы изменились, и ранее неприменимое решение стало возможным — значит, нужно пересчитать.

Многие отраслевые инновации происходят в такие моменты.

Долгое время существовала старая проблема, и люди привыкли исправлять её с помощью обходных решений. Позже цена оборудования, объём памяти, пропускная способность сети или возможности модели преодолели определённый порог, и прежние ограничения исчезли. Однако большинство людей продолжают использовать старую архитектуру, поскольку она уже стала общепринятой практикой.

Джэфф Дин умеет превращать здравый смысл обратно в предположения.

Он спросит: почему обязательно именно так? Количество сегодня такое же, как вчера? Если заменить самый дорогой шаг, не изменит ли это всю систему кардинально?

Это также его совет предпринимателям. Не сосредотачивайтесь только на том, где существующие решения недостаточны, а пересмотрите проблему с первого принципа. Можно ли повысить производительность на порядок? Можно ли снизить стоимость на два порядка? Можно ли отказаться от принятых в отрасли стандартных подходов?

Иногда вам просто нужно прищуриться и посмотреть на проблему, не привязываясь к решению сегодняшнего дня, а думая с первого принципа, как ее следует решить.

Это звучит не таинственно. Сложность в том, что большинство людей, войдя в отрасль, быстро усваивают все стандартные ответы этой отрасли. Опыт помогает повысить эффективность, но также лишает способности заново задавать вопросы.

В 2013 году глубокое обучение в системе распознавания речи Google начало значительно превосходить старые системы. Ошибка снизилась вдвое, что эквивалентно концентрации прогресса в распознавании речи за последние двадцать лет в течение нескольких месяцев.

Команда продукта, конечно, была в восторге. Но Джефф Дин сначала провел расчеты.

Если распознавание речи действительно улучшится, пользователи будут более склонны его использовать. Предположим, что каждый пользователь Google использует распознавание речи всего три минуты в день — сколько серверов потребуется Google для этого?

Результаты неутешительны. С учетом эффективности процессоров того времени Google, возможно, придется удвоить масштаб своих серверов.

Это начало TPU.

Это не связано с тем, что исследовательская команда внезапно захотела создать чипы, и не для того, чтобы доказать, что Google способна производить аппаратное обеспечение, а потому что успешная модель скоро создаст сервис, стоимость обслуживания которого будет неподъемной.

Эта история раскрывает часто игнорируемую закономерность в AI-продуктах: улучшение эффективности модели не всегда приводит к снижению затрат. Напротив, чем лучше эффективность, тем больше объем использования и тем выше нагрузка на систему.

Когда голосовое распознавание работает плохо, пользователи редко его используют. Стоимость системы не является проблемой. Когда уровень ошибок значительно снижается, спрос внезапно высвобождается, и ранее скрытые ограничения вычислительных ресурсов выходят на первый план.

TPU выбрал путь создания специализированного аппаратного обеспечения для наиболее важных вычислительных моделей машинного обучения. Ему не нужно запускать браузеры или обрабатывать все общие программы. Он отлично справляется с низкоточными, плотными линейными алгебраическими вычислениями. Именно такие вычисления находятся в центре современного машинного обучения.

Первое поколение TPU принесло порядковый прирост производительности. Согласно Джеффу Дину, оно было в 30–80 раз более энергоэффективным, чем CPU и GPU того времени, а задержка снизилась в 20–30 раз.

Здесь есть еще один легко упускаемый из виду дизайн-масштаб.

TPU очень специализированы, но не настолько, чтобы поддерживать только одну фиксированную модель. Команда понимала, что алгоритмы машинного обучения будут быстро меняться, поэтому спроектировала чип как более универсальную систему линейной алгебры. Он пожертвовал возможностью запускать Chrome или Word, но сохранил пространство для поддержки будущих эволюций алгоритмов.

Это очень трудно удерживаемый баланс. Если не выделять достаточно ресурсов, прибыль будет незаметной. Если выделять слишком много, изменение алгоритма сделает оборудование устаревшим.

Суждение Джеффа Дина о сегодняшнем оборудовании для вывода явно напоминает его оценку TPU в то время. Он считает, что следующая важная возможность по-прежнему связана с специализацией, но акцент сместится еще дальше в сторону низкой задержки и низкого энергопотребления при выводе.

Представьте, что вы можете сделать, если задержка улучшится в 50 раз.

Когда ответ модели занимает несколько секунд, люди воспринимают её как инструмент для случайных запросов. Когда задержка приближается к мгновенной, она может действительно войти в интерфейсы взаимодействия, роботов, реальное видео, операционные системы и процессы непрерывного принятия решений.

Ожидание — это не просто проблема пользовательского опыта. Ожидание меняет форму продукта.

Если бы нужно было обновить версию «Чисел задержек, которые должен знать каждый инженер» для инженеров по ИИ 2026 года, Джефф Дин считает, что акцент следует сместить с поиска на жестком диске, пропусков кэша и межконтинентальной сетевой задержки на потоки данных внутри чипа.

Инженерам необходимо знать: какова пропускная способность от основной памяти к кристаллической памяти, какова пропускная способность от кристаллической памяти к умножающим блокам, сколько энергии требуется для одного умножения, как осуществляется взаимосвязь между чипами и как снизится эффективность сети при масштабировании с 500 до 10 000 чипов.

Эти цифры кажутся далекими от продукта, но на самом деле определяют, какой продукт может состояться.

Джефф Дин привел крайне впечатляющее соотношение. Выполнение одной математической операции умножения требует примерно один пикоджоуль энергии. Перемещение данных из высокополосной памяти в вычислительный блок может стоить примерно в 1000 раз больше энергии.

Другими словами, сегодня дорогие операции в системах ИИ часто не связаны с «вычислениями», а с «перемещением данных, которые нужно вычислить».

Это также объясняет, почему пакетная обработка так важна.

После загрузки набора весов модели из памяти в вычислительный блок, если обрабатывается только один токен, вся стоимость передачи данных ложится на этот один токен. При одновременной обработке большего размера пакета один и тот же набор весов может обслуживать больше вычислений, что позволяет распределить затраты энергии и пропускной способности.

Однако пакетная обработка и низкая задержка по своей природе противоречат друг другу. Чтобы сформировать пакет запросов, система часто должна ждать. Пропускная способность увеличивается, но время отклика для отдельного пользователя может замедлиться.

Таким образом, многие проблемы, кажущиеся относящимися к уровню модели, на самом деле являются проблемами оборудования и системы. Почему при обучении используются большие пакеты, почему при выводе необходим KV Cache, почему модель стремится к низкой точности и почему система требует квантования — всё это связано с ограничениями по перемещению данных и энергопотреблению.

Джефф Дин недавно больше внимания уделяет выводу, именно потому, что вывод чрезвычайно чувствителен к задержкам. Задержка в задачах обучения часто означает лишь более позднее завершение эксперимента. Каждая дополнительная секунда ожидания при выводе напрямую влияет на пользовательский опыт и эффективность работы агентов.

Если агенту нужно последовательно вызвать модель 1000 раз, снижение задержки на 50% за один вызов может привести к значительной разнице во времени завершения всей задачи. Не говоря уже о том, что в будущем агентам предстоит работать в течение нескольких дней или недель.

Таким образом, «энергетическая проблема» ИИ — это не отдалённая экологическая тема. Она напрямую определяет, сможет ли модель недорого обслуживать больше людей, сможет ли агент работать непрерывно и является ли валовая прибыль стартапов здоровой.

В последние годы AI-индустрия традиционно оценивала прогресс по количеству параметров, объему обучающих данных и результатам на эталонных тестах. В 2026 году Джефф Дин уделяет больше внимания всему, что окружает модель.

Настоящая полезная ИИ-система, помимо модели, требует поиска, инструментов, памяти, исторической информации, среды выполнения и механизмов обратной связи. Модель должна знать, какие инструменты доступны, когда вызывать инструменты, как разбивать сложные задачи на последовательность действий, а также сравнивать несколько вариантов и определять, какой из них более вероятен для успеха.

Вот почему «инженерия контекста» начинает выходить на центральную сцену.

Джефф Дин говорит, что информация, с которой модель сталкивалась на этапе обучения, в конечном итоге «перемешивается» в сотнях миллиардов или триллионов параметров. Они подобны густому супу — знания присутствуют, но не обязательно четко. Информация, действительно введенная в текущий контекст, для модели более прямолинейна и легче используется точно.

Это создает важную возможность для небольших команд.

Обучение базовой модели требует огромного капитала, данных и вычислительных мощностей. Однако контекстное инжиниринг можно начать с одного API. Предприниматели могут организовать отраслевые знания, инструменты, процессы, данные клиентов и критерии оценки вокруг конкретного бизнеса, чтобы сделать общую модель более надежной в узкой области применения.

Джефф Дин привел свой собственный пример.

Он и Санjay Гемават часто оптимизировали базовые библиотеки внутри Google. Эти структуры данных могут работать на миллионах процессов, одна Нажмите Различия в производительности усиливаются с масштабом. Традиционный подход заключается в том, что инженеры сначала пишут микробенчмарки, измеряют текущую производительность, затем изменяют код, повторно запускают бенчмарки, наблюдают за использованием кэша и изменениями в производительности, после чего продолжают итерации.

Два человека оформили этот метод работы в виде навыка агента. Модель научилась запускать базовые тесты, изменять код, сравнивать результаты и далее оптимизировать их на основе измерений.

Мы просто предоставили ему методы, которые люди используют, в форме, понятной модели.

This sentence can almost be considered a naive definition of context engineering.

Это не магические подсказки и не добавление большего объема контекста. Это ответ на три вопроса: какие шаги предпринимают эксперты, какие надежные инструменты есть в системе и как следует проверять результаты.

Когда этот контент структурирован, модель получает не больше знаний, а набор повторяемых методов.

Вот почему «навыки (skill)» становятся ключевыми активами в экосистеме агентов. Хороший файл навыка может содержать многолетний неявный опыт команды. Он сообщает модели, что делать в первую очередь при возникновении определенного типа проблемы, какие ошибки наиболее распространены, какие инструменты заслуживают доверия и что считать завершенным результатом.

Дифференциация будущих компаний, скорее всего, будет заключаться не только в весах моделей, но и в опыте, закодированном в рабочие процессы.

Почти все команды, которые действительно работали с агентами, сталкивались с одной и той же ситуацией.

Первые шаги проходили гладко. Модель могла понимать требования, использовать инструменты и писать код. Но на 30-м или 50-м шаге она начала забывать о цели, неверно интерпретировать состояние, повторять действия или все дальше уходить в неверном направлении.

Джефф Дин приписывает одну из причин проблемам вне распределения.

Модель была обучена на большом количестве распространённых задач. Пока задачи остаются в пределах её знакомой «освещённой дороги», её производительность, как правило, хороша. Однако, как только последовательные операции выводят её в незнакомое состояние, производительность резко падает. Чем дальше она отходит от зоны комфорта, тем легче ошибки накапливаются.

Один из способов решения — предоставить навыки и подсказки, чтобы максимально ограничить модель в рамках её знакомых путей. Другой способ — использовать многагентную систему.

Несколько агентов могут попробовать различные подходы, после чего другая модель выступает в роли оценщика, определяя, какие направления перспективнее. Неудачные ветви отбрасываются, а успешные продолжают развиваться. По сути, это поиск на этапе рассуждения.

Это не陌生но к способу работы человеческой команды. При решении сложных задач один человек предлагает решение, другой проверяет риски, а третий проводит эксперимент. Команда не полагается исключительно на первую идею, а снижает вероятность единичных ошибок за счет распределения обязанностей и обратной связи.

Чем дольше работает агент, тем меньше система должна полагаться на однократную корректность.

Настоящий надежный долгосрочный агент требует контрольных точек, управления состоянием, отката, исследования ветвлений, внешней оценки, контроля доступа и восстановления после сбоев. Он больше похож на распределенную систему, чем на сверхдлинное окно чата.

Это именно то место, где контекст Джеффа Дина снова становится ключевым.

Одна из ключевых проблем, решаемых MapReduce, — это обеспечение надежных вычислений с использованием большого количества ненадежных машин. Современные системы Agent сталкиваются с аналогичным противоречием: отдельные вызовы модели несовершенны, инструменты могут терпеть неудачу, но вся задача должна выполняться как можно более стабильно.

Будущие выдающиеся платформы агентов могут унаследовать множество идей распределённых систем. Задачи можно разбивать, результаты можно проверять, сбои можно повторять, состояние можно восстанавливать, локальные ошибки не должны уничтожать весь процесс.

Когда Джефф Дин говорит, что агенты будут работать несколько дней или даже недель, он описывает не более длительный чат, а новую вычислительную инфраструктуру.

В контексте Startup School самым интересным вопросом, конечно, является предпринимательская возможность.

Google может совместно разрабатывать чипы, центры обработки данных, модели и продукты. Такие универсальные модели, как Gemini, продолжают быстро расширять свои возможности. Как команда из двух-трех человек может победить?

Ответ Джеффа Дина не романтичен.

Возможности для небольших команд обычно существуют в конкретных областях, которые не получили достаточного внимания от универсальных моделей. Предприниматели могут объединить интерфейс продукта, проприетарные данные, рабочие процессы и отраслевые навыки, чтобы обеспечить более высокую точность и лучший опыт в узкой сфере.

Он сразу предупредил: универсальные модели быстро становятся мощнее. Сегодняшние независимые функции продуктов через шесть или двенадцать месяцев могут быть напрямую заменены базовыми моделями.

Таким образом, предпринимателям необходимо оценить, насколько устойчивы их преимущества.

Джефф Дин предложил четкий критерий отбора: искать задачи, в которых текущая успешность универсальных моделей близка к 0% или 1%, а не те, в которых уже достигнута успешность в 20%.

Если модель полностью не справляется, это может быть хорошим признаком. Если она уже частично справляется, но делает это плохо, это не обязательно хороший признак.

Причина проста: 20% означает, что способности уже начинают проявляться. Больше данных, более крупные модели и более длительные рассуждения, скорее всего, быстро сделают их пригодными для использования. 0% или 1% указывают на то, что задача, возможно, не хватает ключевых данных, специальных инструментов, обратной связи из области или способностей, которые трудно получить краткосрочно с помощью универсальной модели.

Это можно назвать «правилом 1%» Джеффа Дина.

Он не предлагает предпринимателям выбирать самые сложные проблемы, а ищет проблемы, в которых существуют структурные слепые зоны у общих моделей.

Эти слепые зоны в основном делятся на три категории.

Первый тип — это проприетарные данные. Общие модели могут структурировать информацию о мире, но не обязательно имеют доступ ко всем персональным данным пользователя, внутренним процессам компании или данным в реальном времени, генерируемым устройством. Получив такие данные, стартап-продукт может сформировать видение, отличное от базовой модели.

Второй тип — профессиональная оценка. Многие отрасли сталкиваются не с нехваткой способности к генерации, а с отсутствием надежных критериев оценки. Медицина, материалы, чипы, производство и научные исследования требуют высококачественных валидаторов. Тот, кто определит «что правильно», сможет обеспечить непрерывную оптимизацию агентов.

Третий тип — узкие, но глубокие модели. AlphaFold не является универсальной чат-моделью; она обладает высокоспециализированными возможностями, разработанными специально для решения задач, связанных с структурой белков. Аналогичные возможности могут возникнуть в таких областях, как материаловедение, проектирование чипов и других специализированных сферах.

Этот подход не прост для предпринимателей. Он требует, чтобы команда понимала как границы возможностей модели, так и глубинные проблемы отрасли. Знание только ИИ может привести к созданию функций, которые быстро будут поглощены платформами. Знание только отрасли может привести к недооценке скорости прогресса модели.

The real opportunity lies at the intersection of both.

Диана выдвигает гипотезу: если в будущем каждый основатель сможет одновременно управлять 50 или 100 агентами, и весь код будет писаться агентами, какие навыки станут дефицитными?

Ответ Джеффа Дина — «вкус».

Более точно — определить, что должен делать агент.

Он считает, что основная ценность исследовательской работы заключается не в том, насколько идеально проведены эксперименты, а в том, выбрана ли действительно значимая проблема для изучения. Команда может использовать самые совершенные методы и выполнить исследование, не имеющее значения. А может захватить ключевую проблему — решение которой изменит всю область.

После снижения стоимости исполнения агентом важность выбора вопросов еще больше возрастет.

Раньше расплывчатая идея из-за слишком высокой стоимости разработки естественно исчезала. В будущем, при привлечении достаточного количества агентов, многие идеи можно будет быстро превратить в прототипы. Мир не станет автоматически производить больше хороших продуктов — появится просто больше продуктов.

Спецификации также станут более важными.

Джефф Дин говорит, что при сотрудничестве с виртуальными агентами чем четче цель, тем выше вероятность успеха. Раньше расплывчатые требования передавались опытному инженеру, который мог задавать уточняющие вопросы и опираться на общие знания для восстановления намерений. Хотя агенты тоже могут задавать вопросы, они чаще склонны делать предположения при отсутствии контекста.

Типичная задача с высокой степенью успешности — перенос программного обеспечения с одного языка программирования на другой. Причина не в простоте миграции, а в исключительно полной спецификации. Старый код определяет поведение, тесты задают границы, и агент может пошагово сравнивать, пока новая версия не начнёт вести себя одинаково.

Сейчас агенты могут писать программное обеспечение за вас, но становится еще важнее четко объяснить, что именно вы хотите.

Это предложение имеет прямое значение для так называемых нативных ИИ-организаций.

Будущие менеджеры будут не просто распределять задачи, а формулировать более четкие цели и критерии приемки. Документы по проектированию перестанут быть лишь инструментом для коммуникации в команде и станут входными данными для выполнения машинами. Тестирование, метрики, ограничения и примеры будут перемещены с конца процесса разработки на этап определения задачи.

Что касается того, как тренировать «вкус», ДжEFF ДЕАН предлагает практичный подход.

Запишите список вещей, которые, по вашему мнению, станут важными в течение следующих 12 месяцев. Вам не обязательно делать всё это. Через 12 месяцев перепроверьте, какие из ваших прогнозов сбылись, какие были реализованы другими, а какие остались без进展. Постепенно, накапливая примеры прогнозов, человек учится точнее оценивать свои суждения.

Вкус — это не только талант. Его также можно развивать через анализ.

Во второй части интервью Джефф Дин поделился довольно безумным мысленным экспериментом.

За последние 60 лет полупроводниковая отрасль стремилась к созданию все более маленьких, стабильных и с меньшей вероятностью ошибок транзисторов. Считалось само собой разумеющимся, что чипы, изготовленные по одному и тому же дизайну, должны быть максимально идентичными, и чем меньше битовых переключений, тем лучше.

В крупных распределенных системах инженеры давно приняли факт, что отдельные компоненты могут выходить из строя. Жесткие диски могут сломаться, серверы могут отключиться, коммутаторы могут дать сбой. Надежность системы обеспечивается не абсолютной безотказностью каждого компонента, а за счет репликации, проверок, избыточности и восстановления.

Тогда Джефф Дин спросил: что бы произошло, если бы транзисторы ошибались 20 раз в день, а не раз в несколько миллионов лет?

Это не является планом реального продукта. Он просто пытается убрать привычное предположение. Возможно, крайне ненадежные транзисторы можно изготовить совершенно иным способом, а система обеспечит результат за счет многократных путей и высокого уровня избыточности.

Большинство мысленных экспериментов в итоге не превращаются в продукты. Многие отраслевые практики сохраняются десятилетиями, и на то есть веские причины. Однако Джефф Дин считает, что эти причины следует регулярно перепроверять.

MapReduce происходит из аналогичного процесса.

Ранние системы веб-пауков и индексирования Google содержали огромное количество ручного параллельного кода, точек контроля и логики восстановления после сбоев. Сама бизнес-логика вычислений часто была простой — например, чтение всех веб-страниц и определение языка страницы. Однако огромное количество системного кода затопило эту простую идею.

Джефф Дин и Саньян Гемават вдохновились функциональным программированием. Они абстрагировали множество задач в операции Map и Reduce, перенеся параллелизацию, планирование, отказоустойчивость и повторные попытки в единую платформу. Разработчики бизнес-приложений должны описывать только саму вычислительную логику.

Этот дизайн не сделал машину безошибочной. Он сделал ошибки способными поглощаться системой.

Сегодня инженерия агентов также может находиться на аналогичной стадии. Множество команд по-прежнему вручную составляют промпты, логику повторных попыток и вызовы инструментов для каждой задачи. В будущем появится ли простая абстракция, подобная MapReduce, которая сделает декомпозицию, проверку, восстановление и параллельное исследование долгосрочных агентов базовыми возможностями?

Это может быть именно возможность для следующего поколения инфраструктурных компаний.

Джефф Дин наиболее воодушевлен направлением автоматизации самого научного метода.

Традиционный научный процесс включает формулирование гипотезы, проектирование эксперимента, проведение эксперимента и анализ результатов, после чего формируется следующая гипотеза. Скорость этого цикла долгое время ограничивалась стоимостью экспериментов и задержками при проверке.

ИИ может изменить две части.

Часть из них автоматически предлагает и запускает больше экспериментов. Другая часть превращает дорогие валидаторы в дешевые приближенные модели.

Джефф Дин привел пример квантовой химии. Исследователи, чтобы определить свойства молекулярной конфигурации, могут запустить симуляцию на основе теории функционала плотности. Одна симуляция может занять всю ночь. Исследователи Google обучили нейронную сеть-аппроксиматор на большом количестве входных и выходных данных симуляций. Она достигает точности, близкой к исходной симуляции, но работает примерно в 300 тысяч раз быстрее.

После изменения скорости проверки форма научной проблемы также меняется.

Раньше отбор из 10 миллионов кандидатов мог быть проектом, требующим месяцев вычислительных мощностей. Сейчас система может завершить первоначальный отбор за время обеда исследователя. Эксперименты больше не являются ценными одноразовыми ставками, а превращаются в частый поиск.

Это та же логика, которая лежит в основе таких систем, как AlphaEvolve и AlphaChip. Модель предлагает решения, инструменты их выполняют, оценщик отбирает результаты, а лучшие результаты переходят в следующий цикл. Если обратная связь достаточно быстрая, система может непрерывно исследовать огромное пространство решений.

Машинное обучение само станет объектом такой автоматизированной науки.

Сегодня крупные исследовательские команды обычно начинают с того, что люди предлагают новые архитектуры или методы обучения, проводят небольшие эксперименты, а затем выбирают перспективные подходы для масштабирования. Джефф Дин считает, что нет фундаментальных препятствий, которые мешают моделям брать на себя все больше этапов этого процесса. Люди задают высокий уровень направления, а система автоматически исследует архитектуру, состав данных и стратегии обучения, а затем объединяет успешные эксперименты в новые модели.

В будущем показателем эффективности исследований может стать не только количество операций с плавающей запятой в секунду, а «количество полезных открытий, полученных на единицу вычислительной мощности».

Вычислительная мощность, конечно, важна. Важнее — как превратить вычислительную мощность в открытия.

В 2014 году Джефф Дин, Джоф Хинтон и Ориол Виньялс представили статью о дистилляции знаний. Сегодня дистилляция знаний стала базовым методом в сжатии моделей и переносе способностей. Крупные модели выступают в роли учителей, передавая свои способности более маленьким, быстрым и дешевым ученическим моделям.

Эта статья, которая впоследствии оказала огромное влияние, тогда была отклонена NeurIPS.

Один рецензент считает, что это «маловероятно окажет значительное влияние». Заинтересованные читатели могут ознакомиться с материалом «Отказ ≠ провал! Эти высокоэффективные статьи были отклонены ведущими конференциями».

Джефф Дин не выражал гнева, говоря об этом опыте. Он сказал, что рецензенты, возможно, не понимают реальных проблем, с которыми сталкиваются крупномасштабные AI-сервисы. Для Google крайне важно превратить дорогие крупные модели в небольшие модели, способные обслуживать сотни миллионов пользователей. Для рецензентов, сосредоточенных исключительно на теоретической новизне, это может показаться недостаточно «фундаментальным».

После отклонения статьи команда разместила её на arXiv. Отрасль всё равно прочитала её и начала использовать.

Сегодня модель Flash от Gemini способна сохранять высокую производительность при меньшем объеме и更低ей задержке, и дистилляция является одним из ключевых методов для этого.

Эта история — не просто вдохновляющий пример того, что упорство ведет к успеху. Она показывает, что система оценки всегда имеет слепые зоны. Ценность решения иногда могут увидеть только те, кто действительно сталкивался с узким местом этой системы.

Это также важно для предпринимателей.

Отрицание со стороны рынка, инвесторов и коллег может означать неправильное направление, а может просто указывать на то, что собеседники не находятся в той же ситуации. Разница заключается в том, есть ли у команды достаточно конкретных доказательств, понимающих, почему эта проблема важна и почему её можно решить именно сейчас.

Джефф Дин не поощряет слепое упорство. Он рекомендует: понимать проблему, постоянно проверять, а затем не воспринимать одну оценку как окончательное суждение мира.

В конце интервью Диана задала воображаемый вопрос.

Если молодого Джеффа Дина, присоединившегося к Google в 1999 году, перенести в 2026 год, он присоединится к передовой лаборатории или основывает компанию с двумя-тремя друзьями?

Джефф Дин не дал стандартного ответа.

Крупные организации обладают структурой, платформой и большим количеством отличных коллег. Внутри них человек может получить доступ к знаниям, которые ему незнакомы, и с помощью зрелых продуктов влиять на пользователей по всему миру. Маленькие команды более свободны, но несут большие риски. Основатели должны искренне верить в проблему и быть готовы годами переносить неопределенность.

Критерии, которые он привел, более фундаментальны, чем «присоединиться к крупной компании или начать свой бизнес».

Если я решу эту проблему и произойдет наилучший результат, мир станет заметно лучше? Или люди просто скажут: «О, круто», — и всё?

Если ответ — просто «классно», то, возможно, это не стоит вкладывать самое ценное время.

Он также подчеркнул важность команды. Нужно искать людей с互补ными навыками, а также с низким эго, готовых к сотрудничеству и приятных в общении. На самом деле сложные задачи часто требуют долгосрочного сотрудничества. Лучше, чтобы члены команды каждый обладали уникальными инструментами, которых нет у других, и продолжали расширять свой «ремень с инструментами» в процессе совместной работы.

Эти слова обладают простотой старого инженера.

Индустрия ИИ любит говорить о экспоненциальном росте, суперинтеллекте и огромных финансовых вложениях. Но в конце концов Джефф Дин сводит всё к трем небольшим вещам: заниматься действительно важным вопросом, работать с теми, кого ты любишь, и стараться сделать мир лучше.

В карьере Джеффа Дина было много легенд, которые рассказывают снова и снова.

Он и Санjay Гемават за несколько дней переписали поисковую систему, чтобы индекс находился в памяти. Оценка, сделанная во время трехминутного голосового сообщения, подтолкнула Google к созданию TPU. MapReduce скрыл масштабное параллелизм и отказоустойчивость за единой абстракцией. Дистилляция знаний превратилась из отклоненной статьи в базовую технологию отрасли.

Эти истории легко заставляют представить его как гения, постоянно вдохновляющегося.

Но из этого интервью видно, что его метод на самом деле очень последователен.

Сначала определите порядок величины. Затем найдите настоящий узкий элемент. После этого поставьте под сомнение стандартные допущения и создайте более простую абстракцию. Наконец, используйте измерения и обратную связь для постоянной итерации системы.

Сегодня индустрия ИИ переживает аналогичный переломный момент.

Модель достаточно сильна, чтобы выполнять задачи уровня младшего инженера. Далее, реальная производительность определяется не только интеллектом модели, но и стоимостью вывода, организацией контекста, качеством инструментов, скоростью проверки и надежностью длительного выполнения.

Агенты будут становиться все более похожими на членов команды. Но им нужны четкие спецификации, навыки, контрольные точки, оценщики, а также система, допускающая неудачи.

Возможности для стартапов не исчезнут, они просто станут более жесткими. Лучше не заниматься задачами, которые уже могут решать универсальные модели на 20%, а искать проблемы, где успех все еще близок к 0% или 1%. Там могут скрываться проприетарные данные, специализированные оценщики, узкоспециализированные модели или совершенно новые системные абстракции.

По мере того как генерация кода становится все дешевле, настоящей дорогой станет сама проблема.

Что стоит делать? Какие ограничения устарели? Какие изменения только что пересекли порог? Какая система станет совершенно другим продуктом, если ускорится в 50 раз?

Джефф Дин не предоставил список возможностей для 6000 предпринимателей. Он предложил более устойчивый способ мышления.

Не спешите гнаться за самым популярным ответом.

Сначала рассчитайте вопрос.

Ссылка для справки

https://x.com/ycombinator/status/2082938685071491219

https://www.ycrootaccess.com/p/jeff-dean-the-1-rule-for-building

Эта статья взята из официального аккаунта WeChat «Machine Heart» (ID: almosthuman2014), автор: Panda