Могут ли роботы мечтать? Если они мечтают, то видят ли они электрических овец?
Кадр из фильма «Бегущий по лезвию»
В 1968 году, когда Филипп К. Дик, автор оригинального романа научно-фантастического фильма «Бегущий по лезвию», набирал этот абстрактный и передовой вопрос на пишущей машинке, он, вероятно, не мог предположить, что спустя полвека титаны кремниевой долины с серьезными лицами дадут на него ответ.
Да, они не только могут видеть сны об электрических овцах, но и визуализировать эти сны.
Вчера Anthropic на конференции разработчиков в Сан-Франциско представила ряд новых функций для платформы создания агентов Managed Agents: расширение памяти, вывод результатов, многопроцессорное взаимодействие и функция «сновидений (Dreaming)».
Согласно самому Anthropic, «память и сны вместе образуют устойчивую систему памяти агента, способную к самосовершенствованию».
Опять сны, опять память — друзья, не слишком следящие за областью ИИ, наверняка зададутся вопросом: когда эти человеческие слова начали так гладко применяться к ИИ?
Еще в 2024 году, когда OpenAI выпустила серию o1, «серию моделей ИИ, спроектированных так, чтобы тратить больше времени на размышление перед ответом», слово «размышление» использовалось совершенно естественно — настолько естественно, что никто не остановился, чтобы задать вопрос: каким образом программа, статистически предсказывающая следующий токен, может называться размышляющей?
Затем следуют reasoning (логика), memory (память), reflection (рефлексия), Imagining (воображение) — по одному переносятся на презентацию продуктов те вещи, которые умеют делать только люди.
Кадры из фильма «Красная мечта» о снах
«Мысль» можно еще интерпретировать как метафору, «память» тоже можно с трудом считать расширением технического жаргона, но «сон» — это уже слишком. Философия, история и литература не могли разобраться за тысячи лет, а компании ИИ теперь прямо заявляют: мы не только создали машины, способные мыслить, мы создали машины, которые могут мечтать.
Что такое сон? Разве не существует ни одного технического термина, который точно описывал бы это событие, кроме сна?
ИИ тоже платит за сны
Еще во время утечки кода Claude Code пользователи заметили, что Anthropic готовит функцию под названием Auto Dreaming. Тогда все задавались вопросом: разве ИИ тоже, как и люди, нуждается во сне и достаточном отдыхе, чтобы стать более сосредоточенным и умным?
Но достаточно понять, как работают современные AI-агенты, чтобы понять, что так называемый «сон» по сути является автоматизированной пакетной обработкой офлайн-журналов.
AI-агент теперь хорошо справляется с выполнением сложных задач с длинной цепочкой действий, например: «Помоги мне провести исследование последних финансовых отчетов этих пяти конкурентов и оформить их в таблицу». В процессе агент должен переключаться между различными веб-страницами, читать несколько документов, использовать различные инструменты и даже может сталкиваться с анти-скрапинг-механизмами, требуя повторных попыток.
После завершения этой длинной цепочки сложных онлайн-задач на фоне агента останется огромное количество журналов выполнения.
Изображение сгенерировано ИИ
Функция «сновидений» от Anthropic позволяет агенту в периоды простоя пересматривать эти исторические записи, выявляя закономерности, например, обнаруживая, что «каждый раз, когда появляется такое всплывающее окно, его можно закрыть, нажав на правый верхний угол», и таким образом оптимизируя путь следующего действия.
«Память» отвечает за захват информации, полученной в процессе работы, а «сны» позволяют выделить эти воспоминания между сессиями и обмениваться ими между различными агентами.
Проще говоря, это механизм усиленного обучения и самокоррекции на основе исторических данных.
Описание сна: https://platform.claude.com/docs/en/managed-agents/dreams
На этой конференции разработчиков обновили Dreams в Managed Agents — это задача, выполняемая в фоновом режиме, которую нам нужно запустить вручную. Claude может одновременно прочитать историю диалога до 100 сессий и сгенерировать новую версию памяти, которую мы сможем проверить и решить, использовать ли её.
AutoDream, который уже был тихо запущен в Claude Code, после каждого цикла общения с агентом проверяет в фоновом режиме, стоит ли «помечтать» — по умолчанию это происходит раз в 24 часа.
Функция, похожая на сон, есть и у Hermes Agent. Основная особенность Hermes Agent — это способность к самообучению и эволюции: он не только поддерживает автоматическое извлечение опыта из прошлых задач и сохранение его в файле памяти.
Одна из функций, называемая Curator, также может автоматически преобразовывать эти выделенные руководства в навыки.
Эти навыки будут оцениваться, дублирующиеся объединяются, редко используемые автоматически архивируются, а также имеют жизненный цикл — active, stale, archived. Мы также можем закрепить важные навыки, чтобы система не удаляла их автоматически.
OpenClaw в последних обновлениях также добавил соответствующие функции, такие как постоянная память между диалогами, планирование задач по расписанию, изолированное выполнение дочерних агентов и функция мечтания, непосредственно называемая Dreaming.
Мечты OpenClaw: https://docs.openclaw.ai/concepts/dreaming
В механизме сна OpenClaw процесс сна делится на три этапа: light, REM и deep. Первые два этапа отвечают за упорядочивание, рефлексию и обобщение тем, а deep действительно записывает содержание в долгосрочную память MEMORY.md.
Укрепление на этапе глубокого сна определяется шестью взвешенными сигналами, указывающими, следует ли записывать информацию в долгосрочную память. Эти шесть сигналов включают частоту, релевантность, разнообразие запросов, актуальность, повторяемость через дни и концептуальную насыщенность.
Изображение сгенерировано ИИ
Запись в долгосрочную память создаст два файла: один — машинно-читаемый файл состояния, размещенный в memory/.dreams/; второй — удобочитаемая запись для пользователя, которая будет записана в DREAMS.md и отчеты, сгенерированные по этапам.
Кроме того, Dreaming может автоматически запускаться по расписанию: по умолчанию полный цикл запускается каждый день в 3:00 утра в следующем порядке: light → REM → deep.
Помимо вывода снов, OpenClaw ведет документ под названием Dream Diary, в котором система автоматически генерирует «дневник снов», используя повествовательный формат для записи процесса упорядочивания памяти, делая акцент на объяснимость и возможность проверки, а не на черный ящик.
В нейробиологии существует очень классическое понимание: информация, полученная человеком в течение дня, сначала поступает в систему временного хранения; во время сна мозг повторно воспроизводит, закрепляет и очищает эту информацию, оставляя важное и отбрасывая бессмысленное.
Изображение сгенерировано ИИ
Мы не запомним цвет каждой машины, с которой столкнулись по дороге на работу вчера, но запомним, как добраться до офиса.
Эти сны звучат действительно так же, как сны человека; если и искать различия, то, наверное, в том, что, когда Клод спит, он всё ещё потребляет наши токены.
Однако Anthropic и OpenClaw не выбрали для него таких инженерно-ориентированных названий, как «оптимизация на основе сессий» или «тонкая настройка после задачи».
В конце концов, когда сложные названия превращаются прямо в «мечты», мы перестаем воспринимать это как функцию программного обеспечения и начинаем чувствовать его как «цифровую жизнь с внутренней активностью».
Память ИИ — это мелкие контексты
Поскольку упоминается «сон», нельзя не упомянуть его предпосылку — память (Memory).
За последнее время самыми популярными терминами в мире ИИ сменились с инженерии подсказок на инженерию контекста, инженерию навыков и инженериюHarness, но независимо от изменений, наиболее ценной сегодня остается инженерия контекста.
Системные подсказки, ввод пользователя, краткосрочный диалог, долгосрочная память, извлеченные документы, выводы вызовов инструментов и навыков, текущее состояние пользователя — эти слои в совокупности и составляют «контекст», который реально использует агент.
Постоянной проблемой на протяжении длительного времени было то, чтобы агент мог запоминать больше и записывать более полезную информацию.
В прошлом году Manus опубликовал технический блог, посвящённый тому, как Manus оптимизирует инженерию контекста. В нём упоминалось, что коэффициент попаданий в KV-Cache определён как один из самых важных единичных показателей для AI-агентов в производственной среде. Также были рассмотрены методы, такие как приоритизация «маскировки» над «удалением» на уровне вызова инструментов и использование файловой системы в качестве конечного контекста.
Чтобы понять так называемый KV-кэш (кэш ключ-значение), представьте большую модель как человека с крайней формой обсессивно-компульсивного расстройства, который может читать только по одному символу за раз.
Когда он обрабатывает предложение, он вычисляет векторы Key (ключ) и Value (значение) для каждого сгенерированного токена. Чтобы не пересчитывать их каждый раз заново, он сохраняет эти пары (K, V), что и называется KV Cache.
KV-кэш (кэш ключ-значение) — это низкоуровневая технология ускорения, используемая крупными моделями при генерации текста для «обмена памяти на скорость». Кэширование позволяет модели при прогнозировании следующего слова не пересчитывать все предыдущие слова. Изображение сгенерировано ИИ.
Пока диалог продолжается, KV Cache постоянно сохраняется. Обычно при работе с крупными моделями, имеющими контекст до 128k, для модели с 70 млрд параметров заполнение контекста на 128k может потребовать до 64 ГБ видеопамяти только для KV Cache.
Именно поэтому контекстное окно большинства моделей в настоящее время ограничено миллионами.
Вчера новая компания Subquadratic, получившая семя-инвестиции в размере 29 миллионов долларов США, опубликовала новую модель SubQ на X, акцентируя внимание на более длинном контексте.
SubQ утверждает, что поддерживает контекстное окно до 12 миллионов токенов — это самый большой контекстный окно среди всех современных моделей.
Хотя техническая статья или документация с описанием модели еще не опубликованы, в представительном видео упоминается, что ключевая технологическая направленность SubQ заключается в переходе от «плотного внимания» традиционного Transformer к архитектуре с разреженным вниманием — «субквадратичной / линейно масштабируемой». Новая архитектура обещает решить проблему взрывного роста вычислительных затрат при увеличении длины контекста.
Полученные тестовые результаты также весьма впечатляющие: при 1 миллиона токенов скорость увеличивается более чем в 50 раз, а стоимость снижается более чем в 50 раз; при 12 миллионах токенов потребность в вычислительных ресурсах снижается почти в 1000 раз по сравнению с передовыми моделями.
На базе RULER 128K с длинным контекстом Subquadratic заявляет, что SubQ достигает 95% точности при стоимости 8 долларов, в сравнении с 94% точностью и стоимостью около 2600 долларов у Claude Opus, что соответствует снижению затрат примерно в 300 раз.
Либо увеличить окно контекста, либо заставить модель учиться мечтать и самостоятельно отбрасывать некоторые вещи.
Вот почему продукты агентов, такие как Anthropic, сейчас должны внедрить функцию Dreaming. При ограниченном окне контекста более умному ИИ недостаточно просто втискивать больше данных — нужно действовать целенаправленно.
Признать, что машины — это просто машины, сложнее, чем кажется
Поняв механизмы сна и памяти ИИ, мы можем лучше понять его связь с человеческой деятельностью.
Но когда вы объединяете все эти термины, созданные AI-компаниями для использования в машинах: мышление (thinking) от OpenAI, общепринятые память (memory) и галлюцинации (hallucination), сон (dreaming) от Anthropic в этот раз, а также добродетели и мудрость из конституции Anthropic.
Мы видим, что ИИ-компании далеко выходят за рамки продажи продуктов — они переопределяют право собственности на слова, входящие в понятие «человек». Каждое заимствованное слово стирает границу между машиной и человеком на ещё немного.
Язык формирует ожидания, ожидания формируют терпимость, а терпимость определяет, сколько мы готовы передать ему. Это длинная цепочка, но начало её — безобидные слова на презентации.
Более скрытое влияние заключается в распределении ответственности. Когда инструмент описывают как сущность, обладающую «мышлением», «памятью» и «ценностями», мы автоматически начинаем воспринимать его как независимого «субъекта действия» и возлагаем на него ответственность: этот ИИ нужно «обучить», «настроить» или «калибровать».
Настоящим вопросом должно стать то, какая компания развернула эту программу в наш рабочий процесс, и какая продуктовая команда написала слово «dreaming». Как только слово меняется, человек, сидящий на скамье подсудимых, тоже меняется.
Когда мы смотрим на машину, которая «думает», «помнит» и теперь ещё и «мечтает», мы начинаем неосознанно верить, что внутри неё есть что-то. Потому что признать, что это просто машина, означает утратить ощущение «я разговариваю с существом, способным мыслить», и вернуться к холодным инструментальным отношениям.
Описание функции White Day Dream | Изображение сгенерировано ИИ
Я уже подумал об этом: Dreaming — это обработка прошлого, а далее компании ИИ выпустят Daydreaming — белый сон — для моделирования будущего.
Суть в том, что дневные грезы или отвлечение позволяют агенту в активном состоянии использовать небольшую часть свободных вычислительных ресурсов, сочетая текущий выполняемый проект с экспериментальным генерированием для подготовки к будущим задачам.
Эта статья с официального аккаунта WeChat «APPSO», автор: APPSO — обнаружение продуктов завтрашнего дня