GPT-6 и ByteDance Seedance 2.5 сотрудничают в производстве видео, сгенерированного ИИ

Почему GPT-6 ушел работать в Seedance от ByteDance???

И этот удар — еще и с несколькими обязанностями сразу—

Пишите сценарии, создавайте сцены, расставляйте актеров, определяйте ракурсы камер, составляйте биты, генерируйте видео, монтируйте финальную версию…

Хорошо, хорошо, хорошо, сейчас GPT-6 будет режиссёром, а Seedance2.5 — производителем.

На первый взгляд, два персонажа аниме вытаскивают мечи и сражаются в японском переулке.

Камера то пролетает над крышей, то быстро приближается к персонажам; персонажи переходят от противостояния и бега к ближнему бою, и несколько последовательных кадров остаются в одной и той же сцене.

 

В текущем мире AI-видео, просто посмотрев на финальный продукт, возможно, это не заставит вас сразу опуститься на пол (doge).

Но снова посмотрите на задачу, которую Higgsfield передал Astra:

Придумайте историю о мечевом бою, выполните предварительную визуализацию в Blender, сгенерируйте кадры с помощью Seedance 2.5, а затем смонтируйте их в финальную версию, сохраняя согласованность персонажей и сцен.

То есть человек дал только общее требование, а остальное — от краткого описания до финального экспорта — GPT-6 Astra выполнил самостоятельно на рабочем столе.

Нет, на презентации GPT-6 он всё ещё рисовал печатные платы в KiCad и строил дома в Blender—

Прошло всего два дня, и пользователи уже включили его в киностудию...

Весь путь реализации выглядит немного как анимационная студия на базе ИИ.

После получения задания GPT-6 Astra должен сначала придумать историю, которую можно снять.

Кто с кем дрался, почему дрались, где дрались, как развивались действия и сколько нужно кадров — всё это нужно сначала уточнить.

История есть, теперь он открывает Blender.

Сначала создайте относительно упрощенную 3D-сцену с улицами, зданиями, персонажами и реквизитом в соответствии с сюжетом, затем поместите двух персонажей в нее и определите их позиции и маршруты движения в разных кадрах.

На этом этапе осуществляется предварительная визуализация фильмов.

После всех этих усилий вся сцена боя уже была отрепетирована в Blender с использованием 3D-моделей.

GPT-6 Astra затем, на основе предварительных кадров, продолжает генерировать опорные кадры для различных планов, после чего передает персонажей, сцены и ссылки на движения в Seedance 2.5.

На этом этапе Byte Seedance официально присоединяется к команде.

 

Он преобразует статические опорные кадры и грубые предварительные версии в настоящие видео с персонажами, движением камеры и анимационной текстурой.

Конечно, после завершения генерации Астра еще не ушла с работы.

Затем он перетаскивает все фрагменты, сгенерированные Seedance, в редактор, выбирает кадры, расставляет их по временной шкале и собирает финальную версию, после чего экспортирует готовое видео.

Точнее, GPT-6 собрал несколько инструментов и моделей во временный съемочный площадку:

GPT-6 Astra пишет сценарий, использует Blender для предварительной визуализации, затем вызывает Seedance 2.5 для генерации финальных кадров и возвращается на рабочий стол для монтажа и экспорта.

Люди снаружи ждут, чтобы получить копию...

Что бы ни было с AGI, Seedance 2.5 сейчас держится очень уверенно.

Затем интернет-пользователи перенесли эту игру в деревню Листьев.

Astra сначала создает сцену в виде 3D Blockout, то есть упрощенной модели, сохраняющей только архитектурную структуру, положение персонажей и примерные пространственные отношения.

Затем заранее установите шесть камер в Blender и определите, как снимать каждый из шести кадров.

После определения кадра каждый точечный переход экспортирует изображение.

Эти кадры передаются GPT Image 2 для уточнения, превращая изначально грубую 3D-серую модель в ключевые кадры в стиле Наруто.

Наконец, появился Seedance 2.5 — короткий фан-фильм о деревне Листьев продолжительностью 30 секунд, состоящий из шести сцен.

 

Анимация еще не закончена, GPT-6 и Seedance снова нацелились на китайские короткие сериалы.

Этот развлечение более абстрактно: одной фразой превратите 30-серийный китайский короткий сериал в американскую версию.

В сравнительном видео сюжет и темп кадров в основном скопированы, но персонажи, сцены, язык и культурный контекст полностью заменены.

Китайское лицо AI-актера заменено на американское лицо AI-актера, оригинальные интерьеры, улицы и костюмы были сгенерированы заново, а композиция кадра и движения персонажей максимально сохранены в соответствии с оригинальным видео.

 

И кроме GPT-6, к Seedance приходят и другие, чтобы создать команду.

В эти два дня GPT-6 Astra, Fable 5.1 и Gemini 3.8 Flash по очереди писали промпты, а затем все они были переданы Seedance 2.5 для создания видео.

Хорошо, хорошо, хорошо, Seedance прямо сейчас: включаем!!!

Один и тот же brief, попав в руки разных моделей, действительно дал три разных вкуса.

Некоторые версии делают акцент на действиях персонажей, с камерой, быстро движущейся вслед за событиями; другие больше подчеркивают композицию, свет и атмосферу, выглядя в целом как будто продуманные по сценарным планам; есть и такие, которые строго следуют задаче, предоставляя полную информацию, но с менее выраженным чувством режиссуры.

 

GPT-6 Astra и Fable 5.1 снова прошли несколько циклов проверки, по-прежнему Seedance 2.5.

Например, ручная живопись в японском стиле ужасов:

 

Или, китайская тушь-анимация:

 

Сначала не думайте о том, кто победит — GPT-6 или Fable, эффект китайских чернил в Seedance действительно впечатляет.

После сравнения трёх крупных моделей победитель ещё не определён, но Seedance от ByteDance уже занял центральное место на съёмочной площадке...

После окончания съемок GPT-6 сразу пошел работать цветокорректором на подработке.

На этот раз GPT-6 открыл DaVinci Resolve.

Пользователь предоставил GPT-6 Astra эталонное изображение, чтобы она, как профессиональный цветокорректор, настроила цвета исходного видео в похожем стиле.

Он должен наблюдать за цветовой температурой, контрастом, тенями, бликами и общей цветовой направленностью на эталонном изображении, а затем использовать инструменты цветокоррекции в DaVinci, чтобы Нажмите Редактировать видео.

Эффект за последние 4 минуты:

 

По сравнению с исходным видео, исходное изображение было в целом плоским и серым; после обработки цвет стал намного насыщеннее, тени были приглушены, а соотношение холодных и теплых тонов стало ближе к эталонному изображению.

Конечно, оценки пользователей сети по поводу этого AI-колориста не такие однозначные, как у анимационного короткометражного фильма.

Некоторым кажется удобным, что соответствие стилю эталонного изображения занимает всего 4 минуты;

Также некоторые безжалостно заявили, что после коррекции цвета стало выглядеть еще хуже... Цветокоррекция должна служить сюжету, цвет сам по себе может быть повествовательным мотивом, и ИИ пока не способен по-настоящему понять эти творческие намерения...

Нельзя не сказать, что это традиционный прием индустрии кино и телевидения: инструмент только что присоединился к проекту, а споры о вкусах уже начались.

На презентации OpenAI продолжала демонстрировать, что Astra может работать с различными профессиональными программами, но среди пользователей инструкции по использованию уже превратились в что-то необычное.

Что касается Seedance——

Сидишь в ByteDance, и вдруг GPT-6 становится твоим лучшим партнером.

Сора: А я?

Ссылки для справки: [1] https://x.com/higgsfield_ai/status/2096352124754104618?s=20 [2] https://x.com/groovestreetgen/status/2096354475879600432?s=20 [3] https://x.com/Pinkuo_/status/2095754189548986426 [4] https://x.com/eachlabs/status/2095911062499381467 [5] https://x.com/eachlabs/status/2095911062499381467 [6] https://x.com/higgsfield_ai/status/2095609438946394380 [7] https://x.com/AngryTomtweets/status/2095654817154908253 [8] https://x.com/higgsfield_ai/status/2096334648016253339

Эта статья взята из официального аккаунта WeChat «Quantum Bit», автор: Вэнь Лэ