Xiaomi เปิดแหล่งที่มาของกรอบงานการสร้างเสียงวิดีโอ ControlFoley

ข่าวจาก ME News เมื่อวันที่ 29 พฤษภาคม (UTC+8) ตามการติดตามของ Beating ทีมแอปพลิเคชันโมเดลขนาดใหญ่ของ Xiaomi ได้เปิดตัวและเปิดแหล่งที่มาของกรอบงานสร้างเสียงและเอฟเฟกต์เสียงสำหรับวิดีโอชื่อ ControlFoley 以往 AI สำหรับเสียงพากย์วิดีโอส่วนใหญ่จะพึ่งพาโมเดลในการคาดเดาเสียงจากภาพ ทำให้ผู้สร้างยากที่จะควบคุมรูปแบบเสียงได้อย่างแม่นยำ จุดเด่นของ ControlFoley คือ “ความสามารถในการควบคุม”: มันสามารถสร้างเสียงตามภาพได้ พร้อมทั้งรับคำอธิบายด้วยข้อความหรือเสียงอ้างอิง เพื่อให้เสียงถูกสร้างตามเจตนาของผู้สร้าง เช่น เปลี่ยนเสียงเคาะประตูให้เป็น “เสียงตีโลหะ” หรือใช้จังหวะกลองเพื่อจับคู่กับการตีเทนนิส โมเดลสามารถรักษาความสอดคล้องระหว่างเสียงและภาพได้ในขณะเดียวกันก็สอดคล้องกับรูปแบบที่ระบุไว้ ในระดับพื้นฐาน ControlFoley ใช้ตัวเข้ารหัสวิดีโอและเสียงแบบ时空ที่ปรับปรุงจาก CAV-MAE และนำกลยุทธ์ “การแยกเวลา-โทนเสียง” มาใช้ โดยมอบเวลาการเกิดเสียงให้กับวิดีโอ และมอบรูปแบบโทนเสียงให้กับเสียงอ้างอิง ในการประเมินหลายภารกิจตามที่กำหนดในบทความวิจัย ControlFoley บรรลุระดับ SOTA สำหรับแหล่งที่มาเปิดในหลายการทดสอบพากย์วิดีโอทั่วไป แม้คำสั่งข้อความจะขัดแย้งอย่างรุนแรงกับเนื้อหาภาพ โมเดลยังสามารถรักษาทั้งการปฏิบัติตามข้อความและการซิงค์เวลาได้ เมื่อเทียบกับระบบเชิงพาณิชย์ที่ปิดแหล่งที่มาอย่าง Kling-Foley ControlFoley มีความสามารถแข่งขันในหลายดัชนี เช่น การจับคู่เชิงความหมาย การซิงค์ และคุณภาพเชิงรับรู้ แต่ยังมีช่องว่างในบางดัชนีการจับคู่ KL divergence ภายใต้ Kling-Audio-Eval และ MovieGen-Audio-Bench ปัจจุบัน เอกสารเทคนิค โค้ด น้ำหนักโมเดล และ Demo ของโครงการได้เปิดให้เข้าถึงแล้ว (ที่มา: BlockBeats)