Google запускает Genie 4 — самый реалистичный интерактивный виртуальный мир с синхронизированным аудио

icon币界网
Поделиться
AI summary iconСводка
Google DeepMind запустила Genie 4 — новую модель мира, предоставляющую наиболее реалистичные и интерактивные виртуальные среды с синхронизированным аудио, включая музыку и диалоги. Модель поддерживает редактирование сцен в реальном времени и удваивает продолжительность симуляции до двух минут. В интеграции с Gemini она открывает возможности для применения в играх и робототехнике. Это обновление приносит свежие новости о реальных активах (RWA) и относится к последним криптовалютным новостям, связанным с инновациями в области ИИ. Genie 4 уже доступен для проверяющих, а более широкий доступ появится в ближайшее время.
CoinMarketCap сообщает:

IT之家 10月28日消息,谷歌DeepMind于周二推出了最新世界模型Genie 4,目前处于研究预览阶段。该最新模型能够生成迄今为止保真度最高、可交互的虚拟世界,用户可在模拟运行过程中输入提示词来修改场景。该模型还能生成与虚拟世界同步的实时音频,涵盖音乐、环境音效及可交互对话。

IT之家注意到,在Genie 4发布数月前,AI视频初创公司Runway推出了其第二款世界模型GWM Worlds 2,这是一款可交互运行的模型,能够对用户输入做出动态响应,并支持音频生成。与此同时,世界模型领域开始出现整合趋势:李飞飞(Fei-Fei Li)创立的世界实验室(World Labs)被AMD收购,亚马逊正在洽谈收购Decart,而Rivian刚刚收购了Third Dimension,以在内部构建仿真能力用于自动驾驶测试。

Выпуск Genie 4 — это последний шаг Google, направленный на сохранение лидерства в конкурентной сфере.

Более года назад Google выпустил предыдущую модель Genie 3 в виде исследовательского превью. Genie 4, помимо значительного повышения реалистичности изображения и добавления аудиофункций, поддерживает свободные операции редактирования, такие как изменение погоды, угла камеры или добавление персонажей и объектов в реальном времени. Она может поддерживать непрерывную сцену длительностью до двух минут — вдвое дольше, чем предыдущая модель — с улучшенной физикой и более реалистичными виртуальными персонажами.

Интеграция крупных моделей Google Gemini и Genie 4 также была进一步 улучшена: Gemini выступает в роли режиссера, отвечающего за планирование шагов и проверку кадров изображения, а Genie 4 отвечает за генерацию визуального контента. В одном из исследовательских экспериментов, связанном с проектом робота Gemini, модель Gemini 4 Argon разбила задачу на несколько шагов, после чего Genie 4 выполнил реальное моделирование. Этот эксперимент продемонстрировал жизнеспособное решение: проверить соответствующие сценарии в симуляционной среде до проведения тестов робота в реальном мире.

Генеральный директор исследований Google Тежас Кулкарни заявил на брифинге: «В будущем мы все чаще будем сталкиваться с такими гибридными моделями мира, где Gemini пишет код и текст, а Genie 4 в реальном времени считывает эти данные и моделирует реальность на разных уровнях абстракции».

Как и другие мировые модели, его основные коммерческие сценарии включают игры, интерактивное обучение и робототехнику. Один из примеров интерактивного обучения — это когда пользователь попадает в картину, изображающую историческую сцену, и общается с персонажами на полотне о событиях, зафиксированных в ней.

Однако «доверенные тестировщики» — первые пользователи, имеющие доступ к передовым продуктам Google, — обнаружили потенциальное новое применение: создание прототипов фильмов.

Инженер Google DeepMind Диего Ривас сказал на брифинге для СМИ: «Ценность функции в реальном времени особенно очевидна в сценариях, где необходимо поддерживать последовательную творческую идею, например, на этапах генерации идей и сценария сцен — во всех этапах, требующих быстрой генерации креативных решений».

Google также выпустила модель генерации видео на основе ИИ под названием Veo, которая создает высококачественные короткие видео на основе текстовых, изображений или видеоподсказок с синхронизированным аудио; этот инструмент продолжает набирать популярность среди кинопроизводителей.

Ривас добавил, что в будущем пользователи смогут использовать многомодальную крупную модель Gemini Omni для преобразования прототипных материалов в официальные творческие активы; Gemini Multimodal может генерировать видео на основе изображений, аудио и текста. Однако он также отметил, что эти возможности еще далеки от практического внедрения.

В ходе всего брифинга Ривас неоднократно подчеркивал, что Genie 4 все еще находится на ранней стадии разработки, и окончательный опыт от полноценного продукта пока не определен. Команда также признала, что у Genie 4 еще есть недостатки: чем дольше длится симуляция, тем больше вероятность смещения деталей и объектов; команда пока не нашла надежного способа обеспечить точную передачу аудио и одновременно четкое чтение текста в виртуальном мире.

Сейчас Genie 4 доступен для исследовательского предварительного просмотра среди доверенных тестировщиков. В ближайшие недели модель будет постепенно доступна для подписчиков Google AI Ultra, участников проекта Genie — инструмента Google по созданию интерактивных виртуальных миров на основе текстовых или изображений подсказок, а также для ранних партнеров Gemini API и Google AI Studio.

Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации. Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.