GPT-6 與 ByteDance Seedance 2.5 合作進行 AI 生成影片製作

icon MarsBit
分享
AI summary icon精華摘要
GPT-6 Astra 與字節跳動的 Seedance 2.5 正在簡化 AI 生成的影片製作。GPT-6 負責故事創作、3D 預視覺化與剪輯,而 Seedance 2.5 則根據參考幀生成動畫畫面。該系統已製作多部短片,包括一部忍者風格片段與一則跨文化改編作品。鏈上交易訊號顯示對 AI 工具的興趣持續上升,隨著需求增加,支撐與阻力位亦隨之移動。Fable 5.1 與 Gemini 3.8 亦已與 Seedance 2.5 一同測試於類似任務中。

GPT-6 怎麼跑去給字節 Seedance 打工了???

而且這一打,還是身兼數職的那種——

寫故事、搭場景、擺演員、定機位、做分鏡、生成影片、剪輯成片……

ByteDance

好好好,這波由 GPT-6 負責當導演,Seedance 2.5 負責出片。

表面上看,是兩名動漫角色在日式街巷裡拔刀對砍。

鏡頭時而掠過屋簷,時而緊貼人物快速推進,角色從對峙、衝刺到近身交鋒,前後幾個鏡頭仍能保持在同一場景中。

 

在當前的 AI 視頻圈中,單看成片可能還不至於讓人當場癱坐(doge)。

但你再看看 Higgsfield 交給 Astra 的任務:

想一個劍鬥故事,在 Blender 裡完成預演,使用 Seedance 2.5 生成鏡頭,再把這些素材剪成最終版本,同時保持角色與場景一致。

也就是說,人類只提供了一段總體要求,其餘從簡報到最終導出,GPT-6 Astra 自己在桌面上全權處理了。

不,GPT-6 發布會上還在 KiCad 裡畫電路板、在 Blender 裡蓋房子——

才過了兩天,網友已經順手把它安排進影視基地了。。。

GPT-6 擔任導演,Seedance 負責把戲演出來

整個實現路徑,看起來多少有點像一個 AI 版動畫劇組。

GPT-6 Astra 在接到任務後,首先要做的是從頭編出一個能拍的故事。

誰和誰打、為什麼打、在哪裡打、動作如何推進、需要幾個鏡頭,這些東西得先理清楚。

故事有了,它再打開 Blender。

先根據劇情搭建一個相對簡化的 3D 場景,包括街道、房屋、人物和道具,然後將兩個角色放入其中,安排它們在不同鏡頭中的位置和移動路線。

This stage involves film pre-visualization.

在這番折騰之後,整個打鬥場景其實已經在 Blender 裡用 3D 模型排練過一遍了。

GPT-6 Astra 隨後根據預演畫面,繼續生成不同鏡頭對應的參考幀,再把角色形象、場景畫面和動作參考交給 Seedance 2.5。

到這一步,字節 Seedance 才正式進組。

 

它負責將靜態的參考幀和粗糙預演,轉換為真正帶有人物動作、鏡頭運動和動漫質感的影片。

當然,生成完成後,Astra 還沒下班。

它再把 Seedance 生成的各段素材拖進剪輯工具,挑選鏡頭、排時間線、拼出完整版本,最後導出成片。

更準確地說,是 GPT-6 把多個工具和模型湊成了一間臨時片場:

GPT-6 Astra 寫故事、操作 Blender 完成預演,再調用 Seedance 2.5 生成正式鏡頭,最後回到桌面完成剪輯和導出。

人類在外面等著收片。。。

什麼 AGI 先放一邊,Seedance 2.5 這波接得確實挺穩。

隨後,網友又將這套玩法搬到了木葉村。

Astra 先將場景製作成 3D Blockout,也就是僅保留建築結構、人物位置和大致空間關係的簡模。

然後在 Blender 裡提前架好 6 台攝影機,分別決定 6 個鏡頭怎麼拍。

鏡頭確定後,每個切點都會導出一張畫面。

這些畫面再交由 GPT Image 2 進行細化,將原本粗糙的 3D 灰模轉變為具有火影風格的關鍵幀。

最後,Seedance 2.5 登場,一條 30 秒、包含 6 個鏡頭的木葉村同人短片,就這麼給攢出來了。

 

動畫還沒拍夠,GPT-6 和 Seedance 又對中國短劇下手了。

這次的玩法更抽象,一句話,把一部30集中國短劇改成美國版。

ByteDance

在對比影片中,故事主線和鏡頭節奏基本照搬,但人物、場景、語言以及文化背景全部換了一套。

將中國AI演員的臉替換為美國AI演員的臉,原有的房間、街道和服裝被重新生成,畫面構圖和人物動作則盡量跟隨原片。

 

GPT-6、Fable5.1、Gemini 3.8 全都來找 Seedance 拍片了

而且,找上 Seedance 搭班子的還不只 GPT-6。

這兩天,GPT-6 Astra、Fable 5.1、Gemini 3.8 Flash 輪流撰寫 Prompt,然後統一交由 Seedance 2.5 拍成影片。

好好好,Seedance 直接:開機!!!

同一份簡報交到不同模型手中,竟拍出了三種風味。

有的版本著重於人物動作,鏡頭隨事件快速推進;有的則更強調構圖、光線與氛圍,整體看起來更像經過分鏡設計;還有的嚴格按任務順序執行,資訊完整,但導演感相對較弱。

 

GPT-6 Astra 和 Fable 5.1 還被抓去連考好幾輪,依舊是 Seedance 2.5。

例如,手繪日式怪談:

 

或者,水墨動畫:

 

先別管 GPT-6 和 Fable 誰贏,Seedance 這水墨效果確實有點東西。

一圈比較下來,三家大模型的勝負還未吵清楚,字節 Seedance 卻已穩坐片場 C 位了。。。

Seedance 下班之後,GPT-6 又去 DaVinci 當調色師了

下班後,GPT-6 隨即去兼職擔任調色師。

這次 GPT-6 開啟的是 DaVinci Resolve。

網友給 GPT-6 Astra 一張參考圖片,讓它像專業調色師一樣,將原影片的顏色調整為相近風格。

它需要觀察參考圖裡的色溫、對比度、陰影、高光和整體色彩傾向,再操作 DaVinci 裡的調色工具,一 點點 修改影片。

最後耗時 4 分鐘的效果 be like:

 

從前後對比來看,原影片整體偏平、偏灰,處理後色調明顯更濃郁,陰影被壓低,畫面的冷暖關係也更接近參考圖。

Of course, netizens' evaluations of this AI colorist are not as consistent as those for the animated short film.

有人覺得 4 分鐘完成參考圖風格匹配確實方便;

也有人毫不留情地表示,調整之後反而更難看了。。。調色應該服務於故事,顏色本身也可以是敘事母題,AI顯然還無法真正理解這些創作意圖……

ByteDance

只能說,很有影視行業的傳統技藝,工具剛進組,審美之爭已經先打起來了。

ByteDance

在發布會上,OpenAI 還在努力證明 Astra 可以操作各種專業軟體,到了網友手裡,使用說明已經被玩出花樣了。

至於 Seedance——

人在字節坐,GPT-6 無端端就成了自己的最佳拍檔。

Sora:那我呢???

參考連結:[1] https://x.com/higgsfield_ai/status/2096352124754104618?s=20 [2] https://x.com/groovestreetgen/status/2096354475879600432?s=20 [3] https://x.com/Pinkuo_/status/2095754189548986426 [4] https://x.com/eachlabs/status/2095911062499381467 [5] https://x.com/eachlabs/status/2095911062499381467 [6] https://x.com/higgsfield_ai/status/2095609438946394380 [7] https://x.com/AngryTomtweets/status/2095654817154908253 [8] https://x.com/higgsfield_ai/status/2096334648016253339

本文來自微信公眾號「量子位」,作者:聞樂

免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款風險披露