GPT-6 та ByteDance Seedance 2.5 співпрацюють над відеопродукцією, згенерованою штучним інтелектом

Чому GPT-6 працює на ByteDance Seedance???

І цей удар — ще й з кількома обов’язками одночасно—

Писати історії, створювати сцени, розміщувати акторів, визначати кути камери, створювати біглі, генерувати відео, монтувати фінальний відеоролик…

Гаразд, гаразд, гаразд, цей раз GPT-6 відповідає за режисуру, а Seedance2.5 — за виробництво відео.

На перший погляд, дві персонажі з аніме витягують мечі і б’ються в японському провулку.

Камера то пролітає над дахом, то швидко наближається до персонажів; персонажі переходять від протистояння до стрімкого бігу і близького бою, і кілька послідовних кадрів залишаються в одній сцені.

 

У сучасному світі AI-відео окремо взята готова версія може й не змусити вас впасти в шок (doge).

Але знову подивіться на завдання, яке Higgsfield передав Astra:

Придумайте історію про мечовий бій, створіть попередній варіант у Blender, використовуйте Seedance 2.5 для генерації кадрів, а потім монтуйте ці матеріали у фінальну версію, зберігаючи єдність персонажів і сцен.

Іншими словами, людина надала лише загальний вимоги, а решту — від короткого опису до фінального експорту — GPT-6 Astra виконала самостійно на робочому столі.

Ні, на презентації GPT-6 ще малювали плати в KiCad і будували будинки в Blender—

Пройшло лише два дні, а користувачі вже призначили його на кіностудію...

Весь шлях реалізації виглядає трохи як анімаційний студійний колектив на основі ШІ.

Після отримання завдання GPT-6 Astra має спочатку створити з нуля історію, яку можна зняти.

Хто з ким б'ється, чому б'ється, де б'ється, як розвиваються дії та скільки потрібно кадрів — це спочатку треба чітко зрозуміти.

Історія є, тепер він відкриває Blender.

Спочатку створіть відносно спрощену 3D-сцену з вулицями, будівлями, персонажами та реквізитом згідно з сюжетом, а потім розмістіть двох персонажів у ній і визначте їхнє розташування та маршрути руху в різних кадрах.

На цьому етапі виконується візуальна підготовка фільмів (Previs).

Після всіх цих зусиль вся бійка вже була розіграна в Blender за допомогою 3D-моделей.

GPT-6 Astra після цього, на основі попередніх кадрів, генерує відповідні опорні кадри для різних планів, а потім передає іміджі персонажів, сцени та посібники з рухів у Seedance 2.5.

На цьому етапі Byte Seedance офіційно приєдналася до команди.

 

Він перетворює статичні опорні кадри та грубі версії на справжні відео з персонажами, рухом камери та анімаційною текстурою.

Звичайно, після завершення генерації Astra ще не пішла з роботи.

Потім перетягнути всі матеріали, згенеровані Seedance, у інструмент монтажу, вибрати кадри, розташувати їх у хронологічній послідовності, зібрати повну версію та експортувати фінальний відеофайл.

Точніше, GPT-6 зібрав кілька інструментів і моделей у тимчасову студію:

GPT-6 Astra пише історію, виконує попередній монтаж у Blender, потім викликає Seedance 2.5 для створення фінальних кадрів і повертається на стіл для монтажу та експорту.

Люди зовні чекають на отримання фрагментів...

Що стосується AGI, поки що відкладемо це — Seedance 2.5 цілком вдало відпрацював цей рух.

Потом користувачі перенесли цю гру в село Мокіє.

Astra спочатку створює сцену у вигляді 3D Blockout, тобто спрощеної моделі, що зберігає лише архітектурну структуру, розташування персонажів та загальні просторові відношення.

Потім у Blenderі заздалегідь розмістіть шість камер і визначте, як знімати шість кадрів.

Після визначення кадру кожен переріз експортується як зображення.

Ці зображення передаються GPT Image 2 для деталізації, перетворюючи початкову грубу 3D-сіру модель у ключові кадри у стилі Наруто.

Нарешті, Seedance 2.5 з’явився — короткий фан-відеокліп тривалістю 30 секунд із шістьма сценами, створений у стилі селища Листя.

 

Анімація ще не закінчилася, GPT-6 і Seedance знову звернули увагу на китайські короткі серіали.

Цей раз гра більш абстрактна: одним реченням перетворіть китайський короткий серіал з 30 серій на американську версію.

У порівняльному відео сюжетна лінія і темп кадрів майже повністю скопійовані, але персонажі, сцени, мова та культурний контекст повністю змінені.

Обличчя китайського AI-актора замінено на обличчя американського AI-актора, а оригінальні кімнати, вулиці та одяг були згенеровані заново; композиція кадру та рухи персонажів максимально відтворюють оригінальний фільм.

 

І, крім того, до Seedance приходять не тільки GPT-6.

Протягом цих двох днів GPT-6 Astra, Fable 5.1 та Gemini 3.1 Flash по черзі писали промпти, а потім їх об’єднали для створення відео за допомогою Seedance 2.5.

Добре, добре, добре, Seedance безпосередньо: увімкнено!!!

Однаковий бриф, що потрапив до різних моделей, справді дав три різні смаки.

Деякі версії зосереджуються на діях персонажів, камера швидко просувається разом із подіями; інші більше підкреслюють композицію, світло та атмосферу, загалом виглядаючи як добре продумані сценарії; а ще є такі, що строго дотримуються завдань, надаючи повну інформацію, але з менш вираженим режисерським підходом.

 

GPT-6 Astra та Fable 5.1 все ще залучені до кількох раундів іспитів, все ще Seedance 2.5.

Наприклад, рукописна японська історія про призраків:

 

Або, інкрементна анімація:

 

Не хвилюйтеся про те, хто виграє — GPT-6 чи Fable, ефект китайських інкрустацій у Seedance справді чогось вартий.

Після порівняння трьох великих моделей ще не вирішено, хто переміг, але Seedance від ByteDance вже зайняв центральне місце на майданчику...

Після робочого дня на зйомках GPT-6 відразу ж пішов працювати колористом на підприємстві.

Цього разу GPT-6 відкрив DaVinci Resolve.

Користувач надав GPT-6 Astra зразок зображення, щоб він, як професійний колорист, налаштував кольори відео у схожому стилі.

Він повинен спостерігати за кольоровою температурою, контрастністю, тінями, світлами та загальною кольоровою схемою на зразковому зображенні, а потім використовувати інструменти колірної корекції у DaVinci, щоб Клікніть Редагувати відео.

Ефект за останні 4 хвилини:

 

Порівнюючи до початкового відео, яке було загалом плоским і сірим, після обробки кольори стали значно насиченішими, тіні пригнічені, а співвідношення холодних і теплих відтінків стало ближчим до зразка.

Звичайно, оцінки користувачів щодо цього AI-колориста не такі однозначні, як у випадку з анімаційним короткометражним фільмом.

Дехто вважає, що 4 хвилини на відповідність стилю еталонного зображення — це дійсно зручно;

Також хтось безжально зазначив, що після корекції кольору виглядає навіть гірше... Кольорова корекція має служити історії, сам колір може бути нарративним мотивом, і AI зрозуміло ще не може справді зрозуміти ці творчі наміри...

Можна лише сказати, що це справжній традиційний прийом із кіноіндустрії — інструмент щойно вступив у команду, але суперечки щодо смаку вже почалися.

На прес-конференції OpenAI ще намагалася довести, що Astra може керувати різними професійними програмами, але в руках користувачів інструкції вже стали справжнім хітом.

Щодо Seedance——

Сиджу в ByteDance, і GPT-6 якось дивно став моїм найкращим партнером.

Sora: А я?

Посилання для довідки: [1] https://x.com/higgsfield_ai/status/2096352124754104618?s=20 [2] https://x.com/groovestreetgen/status/2096354475879600432?s=20 [3] https://x.com/Pinkuo_/status/2095754189548986426 [4] https://x.com/eachlabs/status/2095911062499381467 [5] https://x.com/eachlabs/status/2095911062499381467 [6] https://x.com/higgsfield_ai/status/2095609438946394380 [7] https://x.com/AngryTomtweets/status/2095654817154908253 [8] https://x.com/higgsfield_ai/status/2096334648016253339

Цей матеріал зі сторінки WeChat «Quantum Bit», автор: Вень Лэ