Google запускає Genie 4 — найбільш реалістичну інтерактивну віртуальну модель світу з синхронізованим аудіо

icon币界网
Поділитися
AI summary iconКороткий зміст
Google DeepMind запустив Genie 4 — нову модель світу, яка пропонує найбільш реалістичні та інтерактивні віртуальні середовища з синхронізованим аудіо, включаючи музику та діалоги. Модель підтримує редагування сцен у реальному часі та подвоює тривалість симуляції до двох хвилин. У інтеграції з Gemini вона дозволяє застосовувати її в іграх та робототехніці. Це оновлення приносить новини про реальні світові активи (RWA) і є одним із найсвіжіших крипто-новин про інновації, засновані на ШІ. Genie 4 зараз доступний для довірених тестувальників, а ширший доступ надійде дуже скоро.
CoinDesk повідомляє:

IT之家, 28 жовтня — Google DeepMind у вівторок запустила останню світову модель Genie 4, яка зараз перебуває на етапі дослідницького попереднього перегляду. Ця остання модель здатна генерувати найбільш реалістичні та інтерактивні віртуальні світи на сьогоднішній день; користувачі можуть вводити підказки під час симуляції, щоб змінювати сцени. Модель також генерує синхронізований з віртуальним світом аудіо в реальному часі, включаючи музику, навколишні звуки та інтерактивні діалоги.

IT之家 звернув увагу, що за кілька місяців до випуску Genie 4 AI-відео стартап Runway запустив свою другу світову модель GWM Worlds 2 — інтерактивну модель, яка динамічно реагує на вхідні дані користувача та підтримує генерацію аудіо. Разом із цим у сфері світових моделей почала виявлятися тенденція до інтеграції: світова лабораторія (World Labs), заснована Фей-Фей Лі (Fei-Fei Li), була придбана AMD, Amazon веде переговори щодо придбання Decart, а Rivian недавно придбала Third Dimension, щоб розробити власні симуляційні можливості для тестування автономного вождення.

Запуск Genie 4 — останній крок Google для підтримки лідерства на конкурентному ринку.

Більше року тому Google випустила попередню версію моделі Genie 3 у форматі дослідницького попереднього перегляду. Крім значного підвищення реалізму зображення та додавання аудіофункцій, Genie 4 підтримує вільні операції редагування, такі як реальний час зміна погоди, кута камери або додавання персонажів та об’єктів. Вона може підтримувати неперервні сцени тривалістю до двох хвилин — у два рази довше, ніж попередня версія, з кращою фізичною симуляцією та більш реалістичними віртуальними персонажами.

Інтеграція великих моделей Google Gemini та Genie 4 також підвищилася: Gemini виступає у ролі режисера, відповідаючи за планування кроків та перевірку кадрів зображення, тоді як Genie 4 відповідає за генерацію візуального контенту. У дослідному експерименті, пов’язаному з проектом робота Gemini, модель Gemini 4 Argon розбила завдання на кілька кроків, після чого Genie 4 провів реальний симуляційний процес. Цей експеримент продемонстрував придатний підхід: перевірити відповідні сценарії у симуляційному середовищі перед тестуванням робота у реальному світі.

Тежас Кулкарні, директор з досліджень Google, сказав на брифінгу: «Ми все частіше будемо бачити такі гібридні світові моделі, де Gemini пише код і текст, а Genie 4 у реальному часі читає ці дані і симулює реальність на різних рівнях абстракції».

Як і інші світові моделі, його основні сценарії комерціалізації включають ігри, інтерактивне навчання та робототехніку. Один із прикладів інтерактивного навчання — це коли користувач потрапляє до картини, що зображує історичну сцену, і спілкується з персонажами з картини про події, зафіксовані в ній.

Однак «довірені тестувальники» — перші користувачі, які отримали доступ до передових продуктів Google, — виявили потенційне нове застосування: створення кіно-прототипів.

Інженер Google DeepMind Дієго Рівас сказав на медіа-брифінгу: «Цінність реального часу особливо виявляється в сценаріях, де необхідно підтримувати послідовну творчу ідею, наприклад, на етапах генерації ідей та сценаріїв, усіх етапів, що вимагають швидкого породження креативних ідей».

Google також запустив модель генерації відео на основі ШІ під назвою Veo, яка може створювати високоякісні короткі відео за текстовими, зображеннями або відео підказками, з синхронізованим аудіо. Цей інструмент продовжує здобувати популярність серед кіно- та відеостворювачів.

Рівас додав, що користувачі майбутньою зможуть використовувати багатомодальну велику модель Gemini Omni для перетворення прототипних матеріалів у офіційні творчі активи; Gemini Omni може генерувати відео на основі зображень, аудіо та тексту. Однак він також зазначив, що ці можливості ще далеко від реалізації.

Під час усієї презентації Рівас неодноразово підкреслював, що Genie 4 все ще перебуває на початковому етапі розробки, і ще не визначено, яким буде фінальний досвід від повноцінного продукту. Команда також визнала, що Genie 4 має недоліки: чим довше триває симуляція, тим більше ймовірність зміщення деталей та об’єктів; команда ще не знайшла надійного способу забезпечити точне аудіо та чітке читання тексту у віртуальному світі.

Зараз Genie 4 відкрито для дослідницького попереднього перегляду для довірених тестувачів. У найближчі тижні ця модель буде доступна для підписників Google AI Ultra, проекту Genie — інструменту AI від Google, який створює інтерактивні віртуальні світи на основі текстових або зображеньних підказок, а також для ранніх партнерів Gemini API та Google AI Studio.

Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації. Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.