GPT-6 và ByteDance Seedance 2.5 hợp tác trong sản xuất video do AI tạo ra

icon MarsBit
Chia sẻ
AI summary iconTóm tắt
GPT-6 Astra và Seedance 2.5 của ByteDance đang tối ưu hóa quy trình sản xuất video do AI tạo ra. GPT-6 quản lý việc tạo cốt truyện, tiền hình dung 3D và chỉnh sửa, trong khi Seedance 2.5 tạo ra cảnh quay hoạt hình từ các khung tham chiếu. Hệ thống đã tạo ra các phim ngắn, bao gồm một đoạn clip phong cách Naruto và một bản thích ứng liên văn hóa. Các tín hiệu giao dịch trên chuỗi cho thấy sự quan tâm ngày càng tăng đối với các công cụ AI, với các mức hỗ trợ và kháng cự thay đổi khi nhu cầu tăng lên. Fable 5.1 và Gemini 3.8 cũng đã được thử nghiệm cùng Seedance 2.5 cho các nhiệm vụ tương tự.

GPT-6 sao lại đi làm cho Seedance của ByteDance vậy??

Và cú đánh này còn kiêm luôn nhiều vai trò—

Viết cốt truyện, thiết lập bối cảnh, bố trí diễn viên, xác định vị trí máy quay, thực hiện storyboard, tạo video, cắt ghép thành phẩm...

ByteDance

Được, đợt này GPT-6 phụ trách làm đạo diễn, Seedance2.5 phụ trách sản xuất phim.

Ở bề ngoài, hai nhân vật hoạt hình đang rút kiếm và giao đấu trong con hẻm phong cách Nhật Bản.

Cảnh quay lúc lướt qua mái nhà, lúc tiến nhanh sát nhân vật, các nhân vật từ thế đối đầu, chạy nước rút đến giao đấu cận chiến, vài cảnh liên tiếp vẫn giữ nguyên một bối cảnh.

 

Trong bối cảnh hiện tại của cộng đồng video AI, chỉ nhìn vào thành phẩm có lẽ vẫn chưa đủ để khiến bạn ngã ngồi ngay lập tức (doge).

Nhưng bạn hãy xem lại nhiệm vụ Higgsfield giao cho Astra:

Hãy tạo một câu chuyện đấu kiếm, thực hiện tiền xử lý trong Blender, sử dụng Seedance 2.5 để tạo cảnh quay, sau đó cắt các tài liệu này thành phiên bản cuối cùng, đồng thời duy trì sự nhất quán giữa nhân vật và bối cảnh.

Nói cách khác, con người chỉ đưa ra một yêu cầu tổng quát, còn lại từ Brief đến xuất bản cuối cùng, GPT-6 Astra tự mình xử lý toàn bộ trên bàn làm việc.

Không, tại sự kiện ra mắt GPT-6, vẫn đang vẽ mạch trong KiCad, xây nhà trong Blender—

Mới chỉ qua hai ngày, cư dân mạng đã tự nhiên đưa nó vào khu quay phim rồi...

GPT-6 làm đạo diễn, Seedance phụ trách diễn xuất

Toàn bộ lộ trình thực hiện trông giống như một ê-kíp hoạt hình phiên bản AI.

Sau khi nhận nhiệm vụ, GPT-6 Astra cần đầu tiên tạo ra một câu chuyện có thể quay phim từ đầu.

Ai đấu với ai, vì sao đấu, đấu ở đâu, các động tác được triển khai như thế nào, cần bao nhiêu cảnh quay, những điều này phải làm rõ trước.

Câu chuyện đã có, giờ nó mở Blender.

Tạo một cảnh 3D đơn giản hóa gồm đường phố, ngôi nhà, nhân vật và đạo cụ theo cốt truyện, sau đó đặt hai nhân vật vào đó và sắp xếp vị trí cũng như lộ trình di chuyển của họ trong từng cảnh quay.

Giai đoạn này thực hiện previs điện ảnh.

Sau tất cả những công đoạn này, toàn bộ cảnh đánh nhau thực ra đã được luyện tập một lần qua các mô hình 3D trong Blender.

Sau đó, GPT-6 Astra dựa trên các cảnh quay thử nghiệm để tiếp tục tạo ra các khung tham chiếu tương ứng với từng cảnh quay, sau đó chuyển các hình ảnh nhân vật, cảnh nền và tham chiếu chuyển động đến Seedance 2.5.

Đến bước này, Byte Seedance mới chính thức gia nhập nhóm.

 

Nó có nhiệm vụ chuyển đổi các khung tham chiếu tĩnh và bản phác thảo thô thành video thực sự với chuyển động nhân vật, chuyển động镜头 và chất lượng hoạt hình.

Tất nhiên, sau khi tạo xong, Astra vẫn chưa tan làm.

Sau đó, kéo các đoạn tài nguyên do Seedance tạo ra vào công cụ chỉnh sửa, chọn cảnh, sắp xếp đường thời gian và ghép lại thành phiên bản hoàn chỉnh, cuối cùng xuất phim.

Chính xác hơn, GPT-6 đã kết hợp nhiều công cụ và mô hình thành một bối cảnh tạm thời:

GPT-6 Astra viết câu chuyện, điều khiển Blender để thực hiện bản dựng trước, sau đó gọi Seedance 2.5 để tạo cảnh chính thức, cuối cùng quay lại máy tính để hoàn tất chỉnh sửa và xuất file.

Người ta đang đợi bên ngoài để nhận phiếu...

Hãy để AGI sang một bên, Seedance 2.5 lần này đã tiếp nhận rất vững chắc.

Ngay sau đó, cư dân mạng lại mang cách chơi này đến làng Lá.

Astra trước tiên tạo cảnh dưới dạng 3D Blockout, tức là chỉ giữ lại cấu trúc kiến trúc, vị trí nhân vật và mối quan hệ không gian tổng thể ở dạng mô hình đơn giản.

Sau đó, thiết lập sẵn 6 máy quay trong Blender, xác định cách quay cho từng cảnh.

Sau khi xác định cảnh quay, mỗi điểm cắt sẽ xuất ra một khung hình.

Những hình ảnh này sẽ được chuyển cho GPT Image 2 để tinh chỉnh, biến mô hình 3D thô ban đầu thành các khung hình then chốt mang phong cách Naruto.

Cuối cùng, Seedance 2.5 đã ra mắt, một đoạn phim ngắn đồng nhân làng Lá kéo dài 30 giây với 6 cảnh quay, đã được hoàn thành.

 

Chưa quay hết phim hoạt hình, GPT-6 và Seedance lại nhắm vào các bộ phim ngắn Trung Quốc.

Lần này cách chơi trừu tượng hơn, chỉ cần một câu, biến một bộ phim ngắn Trung Quốc 30 tập thành phiên bản Mỹ.

ByteDance

Trong video so sánh, cốt truyện chính và nhịp độ cảnh quay gần như được sao chép nguyên bản, nhưng nhân vật, bối cảnh, ngôn ngữ và bối cảnh văn hóa đều được thay đổi hoàn toàn.

Chuyển khuôn mặt diễn viên AI Trung Quốc thành khuôn mặt diễn viên AI Mỹ, cảnh phòng, đường phố và trang phục ban đầu được tạo lại, trong khi bố cục khung hình và chuyển động nhân vật được giữ nguyên theo phim gốc.

 

GPT-6, Fable5.1, Gemini 3.8 đều đến tìm Seedance quay phim

Hơn nữa, không chỉ có GPT-6 đến tìm Seedance để hợp tác.

Trong hai ngày qua, GPT-6 Astra, Fable 5.1 và Gemini 3.8 Flash luân phiên viết Prompt, sau đó gửi chung cho Seedance 2.5 để sản xuất video.

Tốt lắm, Seedance trực tiếp: Khởi động!!!

Cùng một bản brief, nhưng khi đến tay các mô hình khác nhau, lại tạo ra ba hương vị khác nhau.

Một số phiên bản tập trung vào hành động của nhân vật, cảnh quay nhanh chóng theo diễn biến sự kiện; một số khác nhấn mạnh vào bố cục, ánh sáng và không khí, tổng thể trông giống như đã được thiết kế kỹ lưỡng qua storyboard; còn một số khác tuân thủ nghiêm ngặt từng nhiệm vụ, cung cấp thông tin đầy đủ nhưng cảm giác đạo diễn tương đối yếu hơn.

 

GPT-6 Astra và Fable 5.1 vẫn bị mang đi thi liên tiếp nhiều vòng, vẫn là Seedance 2.5.

Ví dụ: truyện kinh dị Nhật Bản vẽ tay:

 

Hoặc, hoạt hình mực Trung Quốc:

 

Đừng lo lắng ai thắng giữa GPT-6 và Fable, hiệu ứng mực Trung Hoa của Seedance thực sự có điểm đặc biệt.

Sau khi so sánh một vòng, kết quả thắng thua giữa ba mô hình lớn vẫn chưa rõ ràng, nhưng Seedance của ByteDance đã sớm chiếm vị trí trung tâm của trường quay...

Sau khi tan ca, GPT-6 lại đi làm nghệ sĩ điều chỉnh màu sắc tại DaVinci

Sau khi tan ca tại phim trường, GPT-6 lập tức đi làm thêm vai trò kỹ sư màu.

Lần này GPT-6 mở là DaVinci Resolve.

Một người dùng đã cung cấp cho GPT-6 Astra một hình ảnh tham chiếu để nó điều chỉnh màu sắc của video gốc theo phong cách tương tự như một chuyên gia điều chỉnh màu.

Nó cần quan sát nhiệt độ màu, độ tương phản, bóng đổ, điểm sáng và xu hướng màu tổng thể trong hình tham chiếu, sau đó sử dụng các công cụ điều chỉnh màu trong DaVinci, một Click Sửa video.

Hiệu quả sau cuối trong 4 phút như sau:

 

So sánh trước và sau, video gốc nhìn chung phẳng và xám, sau khi xử lý, tông màu rõ ràng đậm hơn, bóng tối được làm tối đi, và mối quan hệ nóng-lạnh trong khung hình cũng gần với hình tham chiếu hơn.

Of course, netizens' evaluations of this AI colorist are not as consistent as those for the animated short film.

Một số người cảm thấy việc hoàn thành việc khớp phong cách hình ảnh tham chiếu trong 4 phút thật tiện lợi;

Cũng có người thẳng thắn cho rằng, sau khi điều chỉnh màu sắc, nó lại trông tệ hơn... Việc điều chỉnh màu sắc nên phục vụ cho cốt truyện, màu sắc bản thân cũng có thể là một chủ đề kể chuyện, AI rõ ràng vẫn chưa thực sự hiểu được những ý định sáng tạo này...

ByteDance

Chỉ có thể nói, đây đúng là truyền thống của ngành công nghiệp điện ảnh, công cụ vừa mới gia nhập, cuộc tranh cãi về thẩm mỹ đã nổ ra trước.

ByteDance

Trong buổi ra mắt, OpenAI vẫn đang nỗ lực chứng minh Astra có thể vận hành nhiều phần mềm chuyên nghiệp, nhưng khi đến tay người dùng mạng, hướng dẫn sử dụng đã được biến tấu đầy sáng tạo.

Về Seedance——

Đang ngồi ở ByteDance, GPT-6 đột nhiên trở thành đôi bạn thân nhất của mình.

Sora: Vậy thì tôi thì sao???

Liên kết tham khảo: [1] https://x.com/higgsfield_ai/status/2096352124754104618?s=20 [2] https://x.com/groovestreetgen/status/2096354475879600432?s=20 [3] https://x.com/Pinkuo_/status/2095754189548986426 [4] https://x.com/eachlabs/status/2095911062499381467 [5] https://x.com/eachlabs/status/2095911062499381467 [6] https://x.com/higgsfield_ai/status/2095609438946394380 [7] https://x.com/AngryTomtweets/status/2095654817154908253 [8] https://x.com/higgsfield_ai/status/2096334648016253339

Bài viết này đến từ tài khoản chính thức WeChat "Quantum Bit", tác giả: Văn Lạc

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này. Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụngTiết lộ rủi ro của chúng tôi.