GPT-6 y ByteDance Seedance 2.5 colaboran en la producción de videos generados por IA

icon MarsBit
Compartir
AI summary iconResumen
GPT-6 Astra y Seedance 2.5 de ByteDance están simplificando la producción de videos generados por IA. GPT-6 gestiona la creación de historias, la previsualización 3D y el edición, mientras que Seedance 2.5 produce secuencias animadas a partir de fotogramas de referencia. El sistema ha creado cortometrajes, incluyendo un clip al estilo Naruto y una adaptación intercultural. Las señales de comercio en cadena muestran un creciente interés en herramientas de IA, con niveles de soporte y resistencia que se desplazan a medida que aumenta la demanda. Fable 5.1 y Gemini 3.8 también han sido probados junto con Seedance 2.5 para tareas similares.

¿Por qué GPT-6 fue a trabajar para Seedance de ByteDance???

Y este golpe, aún así, es de alguien que desempeña múltiples funciones—

Escribir historias, crear escenarios, colocar actores, definir ángulos de cámara, realizar storyboards, generar videos, editar el resultado...

ByteDance

Bien, bien, bien, esta vez GPT-6 se encarga de dirigir y Seedance2.5 de producir el video.

A primera vista, dos personajes de anime están sacando sus espadas y luchando en una calle japonesa.

La cámara pasa rápidamente de deslizarse sobre el alero a acercarse rápidamente a los personajes; los personajes pasan de una confrontación a una carrera y luego a un combate cuerpo a cuerpo, y varios planos sucesivos mantienen la misma escena.

 

En el actual mundo de los videos de IA, solo ver el resultado final probablemente no te dejaría tan impactado (doge).

Pero vuelve a ver la tarea que Higgsfield le entregó a Astra:

Crea una historia de batalla con espadas, realiza la previsualización en Blender, genera los planos con Seedance 2.5 y edita estos materiales en la versión final, manteniendo la coherencia de los personajes y el escenario.

Es decir, el ser humano solo proporcionó una solicitud general, y el resto, desde el Brief hasta la exportación final, lo realizó por completo GPT-6 Astra en su escritorio.

No, en el lanzamiento de GPT-6 todavía dibujaba placas de circuito en KiCad y construía casas en Blender—

Solo han pasado dos días y los internautas ya lo han incluido automáticamente en un set de filmación...

GPT-6 como director, Seedance se encarga de representar la obra

La ruta de implementación completa parece un poco como un equipo de producción de animación con IA.

Después de recibir la tarea, GPT-6 Astra primero debe crear desde cero una historia que se pueda filmar.

Quién pelea con quién, por qué pelean, dónde pelean, cómo se desarrollan los movimientos y cuántos planos se necesitan, todo esto debe aclararse primero.

Ya tiene la historia, ahora abre Blender.

Construye primero un escenario 3D relativamente simplificado con calles, casas, personajes y objetos según la trama, luego coloca a los dos personajes dentro y asigna sus posiciones y rutas de movimiento en diferentes planos.

Lo que se hace en esta etapa es la previsualización cinematográfica Previs.

Después de todo este proceso, toda la escena de lucha ya se había ensayado previamente en Blender con modelos 3D.

GPT-6 Astra luego genera fotogramas de referencia correspondientes a diferentes planos según las secuencias de ensayo, y luego transmite la imagen del personaje, la escena y las referencias de movimiento a Seedance 2.5.

En este punto, Byte Seedance se une oficialmente al equipo.

 

Se encarga de convertir los fotogramas de referencia estáticos y los previsualizaciones groseras en videos reales con movimientos de personajes, movimientos de cámara y una calidad de animación.

Por supuesto, después de generar el resultado, Astra aún no se ha ido del trabajo.

Luego, arrastra cada uno de los materiales generados por Seedance a la herramienta de edición, selecciona los planos, organiza la línea de tiempo y ensambla la versión final, para finalmente exportar el video terminado.

Más precisamente, GPT-6 reunió varias herramientas y modelos en un set temporal:

GPT-6 Astra escribe la historia, opera Blender para completar la previsualización, luego llama a Seedance 2.5 para generar los planos finales, y finalmente regresa al escritorio para realizar el montaje y la exportación.

La gente está afuera esperando recibir sus fichas...

Dejemos de lado qué es la AGI por ahora, pero Seedance 2.5 ha respondido bastante bien.

Immediately after, netizens took this gameplay to the Leaf Village.

Astra primero crea un blockout 3D, es decir, un modelo simplificado que conserva solo la estructura arquitectónica, la ubicación de los personajes y las relaciones espaciales generales.

Luego, configura previamente seis cámaras en Blender y determina cómo filmar cada uno de los seis planos.

Una vez determinado el encuadre, cada punto de corte exportará una imagen.

Estas imágenes se entregan a GPT Image 2 para refinarse, transformando el modelo 3D crudo en fotogramas clave con estilo Naruto.

Finalmente, Seedance 2.5 aparece: un cortometraje fanmade de Konoha de 30 segundos con 6 escenas, así se logró reunir.

 

Aún no han terminado con las animaciones; GPT-6 y Seedance ahora atacan las series cortas chinas.

Esta vez la jugada es más abstracta: en una frase, convierte una serie china de 30 capítulos en una versión estadounidense.

ByteDance

En el video de comparación, la trama principal y el ritmo de las tomas se copian básicamente, pero los personajes, escenarios, idioma y contexto cultural se cambian por completo.

El rostro del actor de IA chino se reemplaza con el rostro del actor de IA estadounidense, y las habitaciones, calles y vestimenta originales se generan nuevamente, mientras que la composición visual y los movimientos de los personajes se mantienen lo más fieles posible al video original.

 

GPT-6, Fable5.1 y Gemini 3.8 han venido todos a filmar con Seedance

Y, además, no solo GPT-6 viene a buscar a Seedance para formar equipo.

En los últimos dos días, GPT-6 Astra, Fable 5.1 y Gemini 3.1 Flash escribieron prompts alternadamente, que luego se enviaron uniformemente a Seedance 2.5 para convertirlos en videos.

Bien, bien, bien, Seedance directamente: ¡Enciéndelo!!!

El mismo brief, al llegar a diferentes modelos, realmente produjo tres sabores distintos.

Algunas versiones se centran en los movimientos de los personajes, con planos que avanzan rápidamente junto con los eventos; otras enfatizan más la composición, la iluminación y la atmósfera, luciendo en conjunto como si hubieran sido diseñadas con un storyboard; y hay otras que siguen estrictamente la secuencia de tareas, proporcionando información completa, pero con menos sentido de dirección.

 

GPT-6 Astra y Fable 5.1 aún fueron sometidos a varias rondas de exámenes consecutivas, y sigue siendo Seedance 2.5.

Por ejemplo, leyendas japonesas dibujadas a mano:

 

O bien, animación con tinta china:

 

Primero, no importa quién gane entre GPT-6 y Fable, el efecto de tinta china de Seedance realmente tiene algo.

Después de compararlos todos, aún no se ha decidido el ganador entre los tres grandes modelos, pero ya Seedance de ByteDance se ha instalado cómodamente en el centro del escenario...

Después del trabajo de Seedance, GPT-6 fue a DaVinci como colorista.

Después de salir del set, GPT-6 fue directamente a trabajar como colorista freelance.

Esta vez, GPT-6 abrió DaVinci Resolve.

Un usuario proporcionó a GPT-6 Astra una imagen de referencia para que, como un colorista profesional, ajustara los colores del video original a un estilo similar.

Debe observar la temperatura del color, el contraste, las sombras, los resaltos y la tendencia general de los colores en la imagen de referencia, y luego utilizar las herramientas de colorización de DaVinci, una Punto punto Editar video.

El efecto al final de 4 minutos es como:

 

En comparación antes y después, el video original tenía un aspecto más plano y grisáceo; después del procesamiento, los tonos son notablemente más intensos, las sombras se han reducido y la relación entre frío y cálido en la imagen se acerca más a la imagen de referencia.

Of course, netizens' evaluations of this AI colorist have not been as consistent as those for the animated short film.

Algunos consideran que completar la coincidencia de estilo de la imagen de referencia en 4 minutos es realmente conveniente;

Algunos también han expresado sin rodeos que, después del ajuste, se ve aún peor... La corrección de color debe servir a la historia; el color en sí mismo puede ser un tema narrativo, y la IA claramente aún no puede comprender realmente estas intenciones creativas...

ByteDance

Solo se puede decir que es un antiguo talento de la industria del entretenimiento: apenas entró la herramienta, ya comenzó la batalla estética.

ByteDance

Durante el lanzamiento, OpenAI aún intentaba demostrar que Astra podía operar diversos software profesionales, pero entre los usuarios, las instrucciones de uso ya se han vuelto creativas.

En cuanto a Seedance—

Sentado en ByteDance, de repente GPT-6 se convirtió en mi mejor compañero.

Sora: ¿Y yo?

Enlaces de referencia: [1] https://x.com/higgsfield_ai/status/2096352124754104618?s=20 [2] https://x.com/groovestreetgen/status/2096354475879600432?s=20 [3] https://x.com/Pinkuo_/status/2095754189548986426 [4] https://x.com/eachlabs/status/2095911062499381467 [5] https://x.com/eachlabs/status/2095911062499381467 [6] https://x.com/higgsfield_ai/status/2095609438946394380 [7] https://x.com/AngryTomtweets/status/2095654817154908253 [8] https://x.com/higgsfield_ai/status/2096334648016253339

Este artículo proviene del canal de WeChat "Quantum Bit", autor: Wen Le

Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información. Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.