IT之家, 28 жовтня — Google DeepMind у вівторок запустила останню світову модель Genie 4, яка зараз перебуває на етапі дослідницького попереднього перегляду. Ця остання модель здатна генерувати найбільш реалістичні та інтерактивні віртуальні світи на сьогоднішній день; користувачі можуть вводити підказки під час симуляції, щоб змінювати сцени. Модель також генерує синхронізований з віртуальним світом аудіо в реальному часі, включаючи музику, навколишні звуки та інтерактивні діалоги.

IT之家 звернув увагу, що за кілька місяців до випуску Genie 4 AI-відео стартап Runway запустив свою другу світову модель GWM Worlds 2 — інтерактивну модель, яка динамічно реагує на вхідні дані користувача та підтримує генерацію аудіо. Разом із цим у сфері світових моделей почала виявлятися тенденція до інтеграції: світова лабораторія (World Labs), заснована Фей-Фей Лі (Fei-Fei Li), була придбана AMD, Amazon веде переговори щодо придбання Decart, а Rivian недавно придбала Third Dimension, щоб розробити власні симуляційні можливості для тестування автономного вождення.
Запуск Genie 4 — останній крок Google для підтримки лідерства на конкурентному ринку.
Більше року тому Google випустила попередню версію моделі Genie 3 у форматі дослідницького попереднього перегляду. Крім значного підвищення реалізму зображення та додавання аудіофункцій, Genie 4 підтримує вільні операції редагування, такі як реальний час зміна погоди, кута камери або додавання персонажів та об’єктів. Вона може підтримувати неперервні сцени тривалістю до двох хвилин — у два рази довше, ніж попередня версія, з кращою фізичною симуляцією та більш реалістичними віртуальними персонажами.
Інтеграція великих моделей Google Gemini та Genie 4 також підвищилася: Gemini виступає у ролі режисера, відповідаючи за планування кроків та перевірку кадрів зображення, тоді як Genie 4 відповідає за генерацію візуального контенту. У дослідному експерименті, пов’язаному з проектом робота Gemini, модель Gemini 4 Argon розбила завдання на кілька кроків, після чого Genie 4 провів реальний симуляційний процес. Цей експеримент продемонстрував придатний підхід: перевірити відповідні сценарії у симуляційному середовищі перед тестуванням робота у реальному світі.
Тежас Кулкарні, директор з досліджень Google, сказав на брифінгу: «Ми все частіше будемо бачити такі гібридні світові моделі, де Gemini пише код і текст, а Genie 4 у реальному часі читає ці дані і симулює реальність на різних рівнях абстракції».
Як і інші світові моделі, його основні сценарії комерціалізації включають ігри, інтерактивне навчання та робототехніку. Один із прикладів інтерактивного навчання — це коли користувач потрапляє до картини, що зображує історичну сцену, і спілкується з персонажами з картини про події, зафіксовані в ній.
Однак «довірені тестувальники» — перші користувачі, які отримали доступ до передових продуктів Google, — виявили потенційне нове застосування: створення кіно-прототипів.
Інженер Google DeepMind Дієго Рівас сказав на медіа-брифінгу: «Цінність реального часу особливо виявляється в сценаріях, де необхідно підтримувати послідовну творчу ідею, наприклад, на етапах генерації ідей та сценаріїв, усіх етапів, що вимагають швидкого породження креативних ідей».
Google також запустив модель генерації відео на основі ШІ під назвою Veo, яка може створювати високоякісні короткі відео за текстовими, зображеннями або відео підказками, з синхронізованим аудіо. Цей інструмент продовжує здобувати популярність серед кіно- та відеостворювачів.
Рівас додав, що користувачі майбутньою зможуть використовувати багатомодальну велику модель Gemini Omni для перетворення прототипних матеріалів у офіційні творчі активи; Gemini Omni може генерувати відео на основі зображень, аудіо та тексту. Однак він також зазначив, що ці можливості ще далеко від реалізації.
Під час усієї презентації Рівас неодноразово підкреслював, що Genie 4 все ще перебуває на початковому етапі розробки, і ще не визначено, яким буде фінальний досвід від повноцінного продукту. Команда також визнала, що Genie 4 має недоліки: чим довше триває симуляція, тим більше ймовірність зміщення деталей та об’єктів; команда ще не знайшла надійного способу забезпечити точне аудіо та чітке читання тексту у віртуальному світі.
Зараз Genie 4 відкрито для дослідницького попереднього перегляду для довірених тестувачів. У найближчі тижні ця модель буде доступна для підписників Google AI Ultra, проекту Genie — інструменту AI від Google, який створює інтерактивні віртуальні світи на основі текстових або зображеньних підказок, а також для ранніх партнерів Gemini API та Google AI Studio.
