Google lance Genie 4, le modèle d'un monde virtuel interactif le plus réaliste avec audio synchronisé

icon币界网
Partager
AI summary iconRésumé
Google DeepMind a lancé Genie 4, un nouveau modèle d'univers offrant des environnements virtuels les plus réalistes et interactifs avec une synchronisation audio, incluant musique et dialogues. Le modèle prend en charge l'édition en temps réel des scènes et double la durée de la simulation à deux minutes. Intégré à Gemini, il permet des applications dans les jeux vidéo et la robotique. Cette mise à jour apporte de nouvelles informations sur les actifs du monde réel (RWA) et fait partie des dernières actualités crypto sur l'innovation pilotée par l'IA. Genie 4 est désormais disponible pour les testeurs approuvés, avec un accès plus large à venir.
CoinDesk rapporte :

IT之家, 28 octobre — Google DeepMind a lancé mardi son dernier modèle mondial, Genie 4, actuellement en phase de prévisualisation de recherche. Ce dernier modèle permet de générer des mondes virtuels interactifs et les plus réalistes à ce jour, permettant aux utilisateurs de modifier les scènes en entrant des instructions pendant l'exécution de la simulation. Le modèle peut également générer des audio synchronisés en temps réel avec le monde virtuel, incluant de la musique, des sons d'environnement et des dialogues interactifs.

IT之家 note que quelques mois avant le lancement de Genie 4, la startup d'IA vidéo Runway a lancé son deuxième modèle mondial, GWM Worlds 2, un modèle interactif capable de répondre dynamiquement aux entrées des utilisateurs tout en prenant en charge la génération audio. Parallèlement, le secteur des modèles mondiaux commence à connaître une tendance à la consolidation : World Labs, fondé par Fei-Fei Li, a été acquis par AMD, Amazon négocie actuellement l'acquisition de Decart, et Rivian vient d'acquérir Third Dimension afin de développer en interne des capacités de simulation pour les tests de conduite autonome.

Lance de Genie 4, la dernière initiative de Google pour rester en tête dans un secteur très concurrentiel.

Il y a plus d’un an, Google a publié le modèle précédent, Genie 3, sous forme de prévisualisation de recherche. En plus d’une nette amélioration du réalisme visuel et de l’ajout de capacités audio, Genie 4 permet des opérations d’édition libres, telles que l’ajustement en temps réel de la météo, de l’angle de la caméra, ou l’ajout de personnages et d’objets. Il peut maintenir une scène cohérente jusqu’à deux minutes, soit deux fois plus longtemps que le modèle précédent, avec une meilleure représentation des phénomènes physiques et des personnages virtuels plus réalistes.

L'intégration des grands modèles de Google, Gemini et Genie 4, s'est également approfondie : Gemini joue le rôle de réalisateur, chargé de planifier les étapes et de vérifier les images, tandis que Genie 4 est responsable de la génération du contenu visuel. Dans une expérience de recherche liée au projet de robot Gemini, le modèle Gemini 4 Argon a décomposé la tâche en plusieurs étapes, que Genie 4 a ensuite simulées en temps réel. Cette expérience démontre une solution viable : valider les scénarios dans un environnement de simulation avant de procéder à des tests réels sur des robots.

Tejas Kulkarni, directeur de la recherche chez Google, a déclaré lors d'une réunion d'information : « À l'avenir, nous verrons de plus en plus de ces modèles hybrides du monde, où Gemini génère du code et du texte, tandis que Genie 4 lit ces contenus en temps réel et simule la réalité à différents niveaux d'abstraction. »

Comme d'autres modèles mondiaux, ses principaux scénarios de mise en œuvre commerciale incluent les jeux, l'apprentissage interactif et le domaine de la robotique. Un exemple envisagé d'apprentissage interactif consiste à permettre à l'utilisateur d'entrer dans une peinture dépeignant une scène historique et d'interagir avec les personnages pour discuter des événements décrits dans l'œuvre.

Cependant, les « testeurs de confiance », les premiers utilisateurs à pouvoir expérimenter les produits de pointe de Google, ont découvert un nouvel usage potentiel : la création de prototypes de films.

L'ingénieur de Google DeepMind, Diego Rivas, a déclaré lors d'une conférence de presse : « La valeur des fonctionnalités en temps réel est particulièrement évidente dans les scénarios où il est nécessaire de maintenir une cohérence dans la pensée créative, comme lors de la phase d'idéation, de la phase de storyboard, et dans tous les moments nécessitant une émergence rapide d'idées. »

Google a également lancé le modèle de génération vidéo par IA Veo, capable de créer des courts-métrages haute définition à partir de prompts textuels, d'images ou de vidéos, avec audio synchronisé intégré. Ce outil connaît une popularité croissante parmi les créateurs audiovisuels.

Rivas a ajouté que les utilisateurs pourraient un jour utiliser le modèle multimodal Gemini Omni pour transformer des éléments de prototype en actifs créatifs finals, car Gemini Multimodal peut générer des vidéos à partir d'images, d'audio et de texte. Toutefois, il a également souligné que ces capacités sont encore loin d'être concrétisées.

Pendant toute la présentation, Rivas a souligné à plusieurs reprises que Genie 4 est toujours en phase précoce de développement et que l'expérience finale du produit n'est pas encore définie. L'équipe a également reconnu que Genie 4 présente encore des lacunes : plus la simulation dure longtemps, plus les détails et les objets ont tendance à se décaler, et l'équipe n'a pas encore trouvé de solution fiable pour garantir une audio précise tout en rendant le texte dans le monde virtuel lisible.

Genie 4 est actuellement disponible en prévisualisation de recherche pour les testeurs de confiance. Au cours des prochaines semaines, ce modèle sera progressivement accessible aux abonnés de Google AI Ultra, au projet Genie — un outil d'IA de Google permettant de générer des mondes virtuels interactifs à partir de prompts textuels ou d'images — ainsi qu'aux partenaires initiaux de l'API Gemini et de Google AI Studio.

Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations. Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.