GPT-6 et ByteDance Seedance 2.5 collaborent sur la production vidéo générée par l'IA

GPT-6 est-il allé travailler pour Seedance de ByteDance ????

Et ce coup-là, c’est quelqu’un qui assume plusieurs rôles à la fois—

Écrire une histoire, créer un décor, placer les acteurs, fixer les cadrages, réaliser les storyboards, générer une vidéo, monter la séquence…

Très bien, cette fois-ci, GPT-6 assure la réalisation et Seedance2.5 s'occupe de la production.

À première vue, deux personnages d'anime se livrent un combat à l'épée dans une ruelle de style japonais.

Le plan passe rapidement de la gouttière à un plan rapproché sur les personnages ; les personnages passent de l'affrontement à la course, puis au combat rapproché, et plusieurs plans successifs restent dans le même décor.

 

Dans le contexte actuel des vidéos IA, regarder le résultat final ne suffit peut-être pas à vous laisser sans voix (doge).

Mais regarde à nouveau la tâche que Higgsfield a confiée à Astra :

Créez une histoire de combat d'épées, réalisez un prévisualisation dans Blender, générez les plans avec Seedance 2.5, puis montez ces éléments en version finale tout en conservant la cohérence des personnages et du décor.

Autrement dit, l'humain n'a fourni qu'une exigence générale, et le GPT-6 Astra a pris en charge entièrement, sur son bureau, tout le processus du brief à l'exportation finale.

Non, lors du lancement de GPT-6, vous dessiniez des circuits imprimés dans KiCad et construisiez des maisons dans Blender—

Seulement deux jours ont passé, et les internautes l'ont déjà intégré à un plateau de tournage...

L'ensemble du parcours de réalisation ressemble un peu à une équipe de production d'animation version IA.

Après avoir reçu la tâche, GPT-6 Astra doit d'abord créer de toutes pièces une histoire pouvant être filmée.

Qui combat contre qui, pourquoi ils se battent, où cela se passe, comment les actions se déroulent, et combien de plans sont nécessaires — ces éléments doivent d’abord être clarifiés.

L'histoire est là, il ouvre Blender.

Construire d'abord un scénario 3D simplifié avec les rues, les maisons, les personnages et les accessoires, puis placer les deux personnages et définir leurs positions et leurs itinéraires de déplacement dans différents plans.

Ce que l'on fait à cette étape, c'est la prévisualisation cinématographique (Previs).

Après tout ce travail, toute la scène de combat a déjà été répétée dans Blender à l’aide de modèles 3D.

GPT-6 Astra génère ensuite les images de référence correspondant à chaque plan selon les séquences de prévisualisation, puis transmet les personnages, les décors et les références d'animation à Seedance 2.5.

À cette étape, Byte Seedance entre officiellement dans l'équipe.

 

Il transforme les images de référence statiques et les prévisualisations grossières en vidéos réelles avec des mouvements de personnages, des mouvements de caméra et une esthétique d'animation.

Bien sûr, après la génération terminée, Astra n'était pas encore rentrée.

Il fait glisser les différents éléments générés par Seedance dans l'outil de montage, sélectionne les plans, organise la timeline et assemble la version finale, puis exporte la vidéo.

Plus précisément, GPT-6 a rassemblé plusieurs outils et modèles en un ensemble temporaire :

GPT-6 Astra écrit l'histoire, utilise Blender pour réaliser la prévisualisation, appelle ensuite Seedance 2.5 pour générer les plans définitifs, puis revient sur le bureau pour effectuer le montage et l'exportation.

Les humains attendent dehors pour recevoir les pièces...

Mettez de côté l'AGI pour l'instant, Seedance 2.5 a bien repris ce mouvement.

Ensuite, les internautes ont appliqué ce jeu au village caché des feuilles.

Astra crée d'abord un blockout 3D, c'est-à-dire un modèle simplifié ne conservant que la structure architecturale, la position des personnages et les relations spatiales approximatives.

Ensuite, préparez six caméras dans Blender et déterminez comment filmer chaque plan.

Une image est exportée à chaque point de coupe une fois le cadrage déterminé.

Ces images sont transmises à GPT Image 2 pour être affinées, transformant le modèle 3D brut en images clés au style Naruto.

Enfin, Seedance 2.5 est arrivé, une courte vidéo fan de la ville de Konoha d'une durée de 30 secondes comprenant six plans, ainsi réunie.

 

Ils n’ont pas encore fini avec les animations, GPT-6 et Seedance s’attaquent maintenant aux séries courtes chinoises.

Cette fois, le concept est plus abstrait : en une phrase, transformez une série chinoise de 30 épisodes en version américaine.

Dans la vidéo comparée, l'intrigue principale et le rythme des plans sont presque identiques, mais les personnages, les décors, la langue et le contexte culturel ont entièrement été remplacés.

Le visage de l'acteur chinois IA est remplacé par celui de l'acteur américain IA, tandis que les décors, les rues et les vêtements d'origine sont régénérés, avec une préservation maximale de la composition visuelle et des mouvements des personnages par rapport à l'original.

 

Et en plus, ce ne sont pas seulement les GPT-6 qui viennent chercher à s'associer à Seedance.

Ces deux derniers jours, GPT-6 Astra, Fable 5.1 et Gemini 3.1 Flash ont rédigé des prompts à tour de rôle, puis les résultats ont été transmis à Seedance 2.5 pour la production vidéo.

Très bien, Seedance directement : allumé !!!

Le même brief, entre les mains de différents modèles, a vraiment donné trois saveurs différentes.

Certaines versions mettent l'accent sur les actions des personnages, avec des plans qui avancent rapidement en suivant les événements ; d'autres insistent davantage sur la composition, la lumière et l'ambiance, donnant une impression plus proche d'un storyboard ; enfin, certaines suivent strictement la progression des tâches, fournissant des informations complètes mais avec un sens régisseur moins marqué.

 

GPT-6 Astra et Fable 5.1 ont encore été soumis à plusieurs rounds d'évaluation, toujours avec Seedance 2.5.

Par exemple, contes japonais dessinés à la main :

 

Ou bien, animation en encre chinoise :

 

Laissez de côté la compétition entre GPT-6 et Fable, l’effet en encre chinoise de Seedance est vraiment impressionnant.

Après une comparaison globale, les résultats entre les trois grands modèles ne sont toujours pas clairs, mais Seedance de ByteDance s'est déjà installé au centre de la scène...

Après la fin du tournage, GPT-6 est allé travailler en tant que coloriste à temps partiel.

Cette fois-ci, GPT-6 a ouvert DaVinci Resolve.

Un internaute a fourni à GPT-6 Astra une image de référence pour qu'elle ajuste les couleurs de la vidéo d'origine dans un style similaire, comme un coloriste professionnel.

Il faut observer la température de couleur, le contraste, les ombres, les hautes lumières et la tendance chromatique globale dans l'image de référence, puis utiliser les outils de colorisation de DaVinci pour procéder. Clic Modifier la vidéo.

L'effet après 4 minutes :

 

Par comparaison avant et après, la vidéo d'origine était globalement plate et grise ; après traitement, les teintes sont nettement plus intenses, les ombres sont assombries et la relation entre les tons froids et chauds est plus proche de l'image de référence.

Of course, netizens' opinions on this AI colorist are not as consistent as those on the animated short film.

Certains trouvent pratique de pouvoir effectuer le match de style de référence en 4 minutes ;

Certains ont également déclaré sans ambages qu'après ajustement, cela devenait encore plus laid... La correction des couleurs doit servir l'histoire ; la couleur elle-même peut être un thème narratif, et l'IA ne comprend manifestement pas encore ces intentions créatives...

On ne peut que dire que c'est une tradition bien établie dans l'industrie du cinéma et de la télévision : les outils viennent à peine d'être intégrés, et les débats esthétiques ont déjà commencé.

Lors de la conférence de presse, OpenAI s'efforçait encore de démontrer qu'Astra pouvait manipuler divers logiciels professionnels, mais une fois entre les mains des internautes, les instructions d'utilisation ont été transformées en une véritable célébration créative.

Concernant Seedance—

Assis chez ByteDance, GPT-6 est devenu mystérieusement mon meilleur partenaire.

Sora : Et moi ????

Liens de référence : [1] https://x.com/higgsfield_ai/status/2096352124754104618?s=20 [2] https://x.com/groovestreetgen/status/2096354475879600432?s=20 [3] https://x.com/Pinkuo_/status/2095754189548986426 [4] https://x.com/eachlabs/status/2095911062499381467 [5] https://x.com/eachlabs/status/2095911062499381467 [6] https://x.com/higgsfield_ai/status/2095609438946394380 [7] https://x.com/AngryTomtweets/status/2095654817154908253 [8] https://x.com/higgsfield_ai/status/2096334648016253339

Cet article provient du compte officiel WeChat « Quantum Bit », auteur : Wen Le