GPT-6とByteDance Seedance 2.5がAI生成動画制作で協力

icon MarsBit
共有
AI summary icon概要
GPT-6 AstraとバイトダンスのSeedance 2.5は、AI生成動画の制作を効率化しています。GPT-6は物語の作成、3Dプリビジュアライゼーション、編集を担当し、Seedance 2.5は参照フレームからアニメーション映像を生成します。このシステムは、ナルト風のクリップやクロスカルチャーなアダプテーションを含む短編映画を制作しました。オンチェーンのトレーディングシグナルは、AIツールへの関心が高まっていることを示しており、需要の増加に伴いサポートレベルとレジスタンスレベルが変化しています。Fable 5.1とGemini 3.8も、Seedance 2.5と同様のタスクでテストされています。

GPT-6はなぜByteDanceのSeedanceで働いているの???

しかも、この一打は、複数の役割を兼ねているタイプです——

物語を書く、シーンを構築する、俳優を配置する、カメラアングルを決める、シーンボードを作成する、動画を生成する、編集して完成させる……

ByteDance

よしよし、今回はGPT-6が監督を務め、Seedance2.5が映像を制作します。

表面上は、2人のアニメキャラクターが日本の街路で刀を抜いて斬り合っている。

カメラは屋根の端を素早く通り過ぎたり、人物に密着して急接近したりし、キャラクターは対峙から駆け出し、近接戦闘へと移行するが、その数つのショットはすべて同じシーンに一貫して保たれている。

 

現在のAI動画業界において、完成品だけを見ると、そこまで驚愕して座り込むことはないだろう(doge)。

しかし、HiggsfieldがAstraに依頼したタスクをもう一度見てみよう:

Blenderでプリビズを制作し、Seedance 2.5でカメラショットを生成し、キャラクターとシーンの一貫性を保ちながら、これらの素材を最終バージョンに編集する剣闘ストーリーを考える。

つまり、人間は全体の要件を一つ提示しただけで、Briefから最終出力まで、GPT-6 Astraが自らデスクトップ上ですべてを担当した。

不、GPT-6の発表会では、KiCadで回路基板を設計し、Blenderで家を建てていた——

たった2日で、ネットユーザーがすでにそれを映画撮影地に組み込んでしまった。。。

GPT-6が監督を務め、Seedanceが演技を担当

実装の全体の流れは、まるでAI版のアニメ制作チームのようだ。

GPT-6 Astraがタスクを受けて最初に行うのは、一から撮影可能な物語を編み出すことである。

誰と誰が戦い、なぜ戦い、どこで戦い、動作をどのように進めるか、何カット必要か、これらの点をまず明確にしなければならない。

物語はできたので、彼はBlenderを開いた。

ストーリーに従って、街道、建物、人物、小道具を相対的に簡略化された3Dシーンに構築し、その後、2人のキャラクターを配置して、各ショットにおける位置と移動ルートを設定する。

この段階では、映画のプリビズ(Previs)を行っています。

この一連の手順を経た後、実際の戦闘シーンはすでにBlenderで3Dモデルを使ってリハーサル済みだった。

GPT-6 Astraは、事前ビデオに基づいて、各ショットに対応するリファレンスフレームを生成し、キャラクターの外観、シーンの映像、および動作のリファレンスをSeedance 2.5に渡します。

この段階で、バイトSeedanceはようやくチームに参加しました。

 

これは、静的な参照フレームと粗いプレビューを、キャラクターの動き、カメラの動き、アニメ風の質感を持つ本物の動画に変換します。

もちろん、生成が完了した後も、Astraはまだ勤務中でした。

その後、Seedanceが生成した各素材を編集ツールにドラッグして、ショットを選択し、タイムラインに並べて完成版を作成し、最終的に動画をエクスポートする。

より正確には、GPT-6が複数のツールとモデルを組み合わせて一時的なセットを構築したのです:

GPT-6が物語を生成し、Blenderを操作してプレビジュアライズを完了し、次にSeedance 2.5を呼び出して正式なショットを生成し、最後にデスクトップに戻って編集とエクスポートを完了する。

人類は外で配信を待っています。。。

AGIの話は一旦置いておいて、Seedance 2.5のこの展開は確かに安定していました。

その後、ネットユーザーたちはこの遊び方を木ノ葉村にも持ち込んだ。

Astraはまずシーンを3D Blockoutとして作成し、建物の構造、キャラクターの位置、および大まかな空間関係のみを保持する簡易モデルとします。

その後、Blenderで6台のカメラを事前に設定し、6つのショットの撮影方法を決定します。

カメラの構図が決まった後、各カットごとに1枚のフレームがエクスポートされます。

これらの画像をGPT Image 2に渡して、もとの粗い3Dグレーモデルをナルトスタイルのキーフレームに細かく仕上げます。

最後に、Seedance 2.5が登場し、30秒で6つのカットからなる木ノ葉村の同人短編映像が完成した。

 

アニメがまだ足りないようで、GPT-6とSeedanceが中国の短編ドラマに手を伸ばした。

今回の遊び方はさらに抽象的で、一言で言えば、30話の中国短編ドラマをアメリカ版に作り替えること。

ByteDance

対比動画では、物語の筋書きとカットのリズムはほぼそのままですが、登場人物、シーン、言語、文化背景はすべて変更されています。

中国のAIアクターの顔をアメリカのAIアクターの顔に置き換え、元の部屋、街並み、衣装は再生成され、映像の構図と人物の動きは元の映像にできるだけ従う。

 

GPT-6、Fable5.1、Gemini 3.8がすべてSeedanceの撮影にやってきた

そして、Seedanceにチームを組みに来るのもGPT-6だけではありません。

この2日間、GPT-6 Astra、Fable 5.1、Gemini 3.8 Flashが順番にPromptを作成し、それを統一してSeedance 2.5で動画に撮影しました。

よしよしよし、Seedance、直接:起動!!!

同じブリーフを異なるモデルに渡すと、本当に三つの異なる味が出てしまう。

あるバージョンは人物の動作に焦点を当て、カメラがイベントに合わせて素早く進む。また、あるバージョンは構図、光、雰囲気を重視し、全体的にシナリオボードで設計されたように見える。さらに、あるバージョンはタスクをstrictlyに順守し、情報は完全に提供されるが、監督としての感覚はやや弱い。

 

GPT-6 AstraとFable 5.1はまだ複数回の試験を受けており、依然としてSeedance 2.5である。

例えば、手描きの日本風怪談:

 

または、墨絵アニメーション:

 

GPT-6とFableの勝敗は一旦置いておいて、Seedanceの水墨効果は確かにすごい。

一巡比較しても、3社の大規模モデルの勝敗はまだ決まっていないが、ByteDanceのSeedanceはすでに撮影現場の中心に座っている。。。

Seedanceが帰宅後、GPT-6はDaVinciでカラーグレーダーとして働いた

撮影現場から退勤した後、GPT-6はすぐにカラーグレーディングのアルバイトに行きました。

今回のGPT-6はDaVinci Resolveを開きました。

ネットユーザーがGPT-6 Astraに参考画像を提供し、それをプロのカラーグレーダーのように、元の動画の色を類似のスタイルに調整させました。

それは、参照画像の色温度、コントラスト、シャドウ、ハイライト、全体的な色の傾向を観察し、DaVinciのカラーグレーディングツールを操作する必要があります。 点点 動画を編集する。

最後に4分間の効果はこんな感じ:

 

前後の比較では、元の動画は全体的に平らで灰色がかった印象でしたが、処理後は色調がはっきりと濃くなり、シャドウが抑えられ、画面上の冷暖の関係も参照画像に近づきました。

もちろん、ネットユーザーたちのこのAIカラリストに対する評価は、アニメ短編ほど一貫していません。

4分で参照画像のスタイルを一致させられるのは便利だと感じる人もいます;

また、調整後の方が逆に見栄えが悪くなったという声も少なくない。カラーリングは物語に奉仕すべきであり、色そのものが物語のモチーフとなることもあるが、AIにはこうした創作意図を真正に理解することはまだできない……

ByteDance

まさに映画業界の伝統的な慣習で、ツールがまだチームに導入されたばかりなのに、審美の議論がすでに始まっている。

ByteDance

発表会でOpenAIはAstraがさまざまなプロフェッショナルソフトを操作できることを証明しようとしていたが、ネットユーザーの手では説明書がさまざまな形で楽しまれている。

Seedanceについては——

ByteDanceで働いていると、GPT-6がなぜか最良のパートナーになってしまった。

Sora:じゃあ私は???

参考リンク:[1] https://x.com/higgsfield_ai/status/2096352124754104618?s=20 [2] https://x.com/groovestreetgen/status/2096354475879600432?s=20 [3] https://x.com/Pinkuo_/status/2095754189548986426 [4] https://x.com/eachlabs/status/2095911062499381467 [5] https://x.com/eachlabs/status/2095911062499381467 [6] https://x.com/higgsfield_ai/status/2095609438946394380 [7] https://x.com/AngryTomtweets/status/2095654817154908253 [8] https://x.com/higgsfield_ai/status/2096334648016253339

本文は微信公众号「量子位」より、著者:聞楽

免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。 デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。