IT之家 10月28日消息,谷歌DeepMind于周二推出了最新世界模型Genie 4,目前处于研究预览阶段。该最新模型能够生成迄今为止保真度最高、可交互的虚拟世界,用户可在模拟运行过程中输入提示词来修改场景。该模型还能生成与虚拟世界同步的实时音频,涵盖音乐、环境音效及可交互对话。

IT之家注意到,在Genie 4发布数月前,AI视频初创公司Runway推出了其第二款世界模型GWM Worlds 2,这是一款可交互运行的模型,能够对用户输入做出动态响应,并支持音频生成。与此同时,世界模型领域开始出现整合趋势:李飞飞(Fei-Fei Li)创立的世界实验室(World Labs)被AMD收购,亚马逊正在洽谈收购Decart,而Rivian刚刚收购了Third Dimension,以在内部构建仿真能力用于自动驾驶测试。
Выпуск Genie 4 — это последний шаг Google, направленный на сохранение лидерства в конкурентной сфере.
Более года назад Google выпустил предыдущую модель Genie 3 в виде исследовательского превью. Genie 4, помимо значительного повышения реалистичности изображения и добавления аудиофункций, поддерживает свободные операции редактирования, такие как изменение погоды, угла камеры или добавление персонажей и объектов в реальном времени. Она может поддерживать непрерывную сцену длительностью до двух минут — вдвое дольше, чем предыдущая модель — с улучшенной физикой и более реалистичными виртуальными персонажами.
Интеграция крупных моделей Google Gemini и Genie 4 также была进一步 улучшена: Gemini выступает в роли режиссера, отвечающего за планирование шагов и проверку кадров изображения, а Genie 4 отвечает за генерацию визуального контента. В одном из исследовательских экспериментов, связанном с проектом робота Gemini, модель Gemini 4 Argon разбила задачу на несколько шагов, после чего Genie 4 выполнил реальное моделирование. Этот эксперимент продемонстрировал жизнеспособное решение: проверить соответствующие сценарии в симуляционной среде до проведения тестов робота в реальном мире.
Генеральный директор исследований Google Тежас Кулкарни заявил на брифинге: «В будущем мы все чаще будем сталкиваться с такими гибридными моделями мира, где Gemini пишет код и текст, а Genie 4 в реальном времени считывает эти данные и моделирует реальность на разных уровнях абстракции».
Как и другие мировые модели, его основные коммерческие сценарии включают игры, интерактивное обучение и робототехнику. Один из примеров интерактивного обучения — это когда пользователь попадает в картину, изображающую историческую сцену, и общается с персонажами на полотне о событиях, зафиксированных в ней.
Однако «доверенные тестировщики» — первые пользователи, имеющие доступ к передовым продуктам Google, — обнаружили потенциальное новое применение: создание прототипов фильмов.
Инженер Google DeepMind Диего Ривас сказал на брифинге для СМИ: «Ценность функции в реальном времени особенно очевидна в сценариях, где необходимо поддерживать последовательную творческую идею, например, на этапах генерации идей и сценария сцен — во всех этапах, требующих быстрой генерации креативных решений».
Google также выпустила модель генерации видео на основе ИИ под названием Veo, которая создает высококачественные короткие видео на основе текстовых, изображений или видеоподсказок с синхронизированным аудио; этот инструмент продолжает набирать популярность среди кинопроизводителей.
Ривас добавил, что в будущем пользователи смогут использовать многомодальную крупную модель Gemini Omni для преобразования прототипных материалов в официальные творческие активы; Gemini Multimodal может генерировать видео на основе изображений, аудио и текста. Однако он также отметил, что эти возможности еще далеки от практического внедрения.
В ходе всего брифинга Ривас неоднократно подчеркивал, что Genie 4 все еще находится на ранней стадии разработки, и окончательный опыт от полноценного продукта пока не определен. Команда также признала, что у Genie 4 еще есть недостатки: чем дольше длится симуляция, тем больше вероятность смещения деталей и объектов; команда пока не нашла надежного способа обеспечить точную передачу аудио и одновременно четкое чтение текста в виртуальном мире.
Сейчас Genie 4 доступен для исследовательского предварительного просмотра среди доверенных тестировщиков. В ближайшие недели модель будет постепенно доступна для подписчиков Google AI Ultra, участников проекта Genie — инструмента Google по созданию интерактивных виртуальных миров на основе текстовых или изображений подсказок, а также для ранних партнеров Gemini API и Google AI Studio.
