IT之家 10月28日消息,谷歌DeepMind于周二推出了最新世界模型Genie 4,目前处于研究预览阶段。这款最新模型能够生成迄今为止保真度最高、可交互的虚拟世界,用户可在模拟运行过程中输入提示词来修改场景。该模型还能生成与虚拟世界同步的实时音频,涵盖音乐、环境音效及可交互对话。

IT之家 nhận thấy, vài tháng trước khi Genie 4 được ra mắt, công ty khởi nghiệp AI video Runway đã ra mắt mô hình thế giới thứ hai của mình là GWM Worlds 2 — một mô hình có thể chạy tương tác, phản hồi động với đầu vào của người dùng và hỗ trợ tạo âm thanh. Đồng thời, lĩnh vực mô hình thế giới bắt đầu xuất hiện xu hướng sáp nhập. Thế giới Lab (World Labs) do Lý Phi Phi (Fei-Fei Li) sáng lập đã bị AMD mua lại, Amazon đang đàm phán mua lại Decart, trong khi Rivian vừa mới mua lại Third Dimension để xây dựng năng lực mô phỏng nội bộ nhằm phục vụ kiểm thử xe tự hành.
Ra mắt Genie 4, là bước đi mới nhất của Google nhằm duy trì vị thế dẫn đầu trong lĩnh vực cạnh tranh khốc liệt.
Hơn một năm trước, Google đã phát hành mô hình tiền nhiệm Genie 3 dưới dạng bản nghiên cứu preview. Ngoài việc nâng cao đáng kể độ chân thực của hình ảnh và bổ sung khả năng âm thanh, Genie 4 hỗ trợ các thao tác chỉnh sửa tự do, chẳng hạn như điều chỉnh thời tiết, góc máy ảnh hoặc thêm nhân vật và vật thể theo thời gian thực. Nó có thể duy trì cảnh liên tục lên đến hai phút, dài gấp đôi so với mô hình tiền nhiệm, với hiệu ứng vật lý tốt hơn và nhân vật ảo chân thực hơn.
Mức độ tích hợp của các mô hình lớn của Google là Gemini và Genie 4 cũng được nâng cao hơn nữa, trong đó Gemini đóng vai trò như đạo diễn, chịu trách nhiệm lập kế hoạch các bước và kiểm tra khung hình, trong khi Genie 4 phụ trách tạo nội dung trực quan. Trong một thí nghiệm nghiên cứu liên quan đến dự án robot Gemini, mô hình Gemini 4 Argon đã phân tách nhiệm vụ thành nhiều bước, sau đó Genie 4 thực hiện mô phỏng thời gian thực. Thí nghiệm này cho thấy một giải pháp khả thi: trước khi tiến hành kiểm tra robot trong thế giới thực, hãy xác minh các kịch bản liên quan trong môi trường mô phỏng.
Giám đốc nghiên cứu của Google, Tejas Kulkarni, cho biết trong một buổi brief: “Trong tương lai, chúng ta sẽ ngày càng chứng kiến nhiều mô hình thế giới lai tạp hơn, trong đó Gemini viết mã và văn bản, còn Genie 4 đọc những nội dung này theo thời gian thực và mô phỏng thực tế ở các cấp độ trừu tượng khác nhau.”
Giống như các mô hình thế giới khác, các kịch bản thương mại hóa chính của nó bao gồm trò chơi, học tập tương tác và lĩnh vực robot. Một ví dụ về học tập tương tác là người dùng bước vào một bức tranh miêu tả cảnh tượng lịch sử và giao tiếp với các nhân vật trong tranh về những sự kiện được ghi lại.
Tuy nhiên, những “người dùng thử nghiệm đáng tin cậy” – những người đầu tiên được trải nghiệm các sản phẩm tiên tiến của Google – đã phát hiện ra một ứng dụng mới tiềm năng: sản xuất phim mẫu.
Kỹ sư của Google DeepMind, Diego Rivas, cho biết trong buổi họp báo: “Giá trị của tính năng thời gian thực đặc biệt nổi bật trong các bối cảnh yêu cầu duy trì mạch ý tưởng sáng tạo nhất quán, chẳng hạn như giai đoạn lên ý tưởng, giai đoạn kịch bản phân cảnh, và mọi giai đoạn cần kích thích ý tưởng nhanh chóng.”
Google cũng đã ra mắt mô hình tạo video AI mang tên Veo, có thể tạo ra các đoạn phim độ phân giải cao dựa trên lời nhắc văn bản, hình ảnh hoặc video, kèm theo âm thanh đồng bộ, công cụ này đang ngày càng được ưa chuộng trong cộng đồng nhà sáng tạo phim ảnh.
Rivas bổ sung rằng người dùng trong tương lai có thể sử dụng mô hình đa mô态 Gemini Omni để chuyển đổi tài liệu mẫu thành tài sản sáng tạo chính thức; Gemini đa mô态 có thể tạo video dựa trên hình ảnh, âm thanh và văn bản. Tuy nhiên, ông cũng nhấn mạnh rằng những khả năng này vẫn còn một chặng đường dài để triển khai thực tế.
Trong suốt buổi trình bày, Rivas liên tục nhấn mạnh rằng Genie 4 vẫn đang ở giai đoạn đầu phát triển, và trải nghiệm cuối cùng của sản phẩm hoàn chỉnh vẫn chưa được xác định. Đội ngũ cũng thừa nhận Genie 4 vẫn còn những điểm yếu: thời gian chạy mô phỏng càng dài, các chi tiết và vật thể càng dễ bị lệch hướng; đội ngũ vẫn chưa tìm ra giải pháp ổn định để đảm bảo âm thanh chính xác đồng thời làm cho văn bản trong thế giới ảo có thể đọc rõ ràng.
Hiện tại, Genie 4 đã mở cửa nghiên cứu preview cho các người dùng thử nghiệm đáng tin cậy. Trong vài tuần tới, mô hình này sẽ lần lượt được cung cấp cho người đăng ký Google AI Ultra, dự án Genie — công cụ AI do Google phát triển có khả năng tạo ra thế giới ảo tương tác dựa trên lời nhắc văn bản hoặc hình ảnh — cùng các đối tác hợp tác sớm của Gemini API và Google AI Studio.
