Xiaomi ने वीडियो ध्वनि उत्पादन फ्रेमवर्क ControlFoley को ओपन सोर्स किया है

ME न्यूज़ के अनुसार, 29 मई (UTC+8) को, Beating के मॉनिटरिंग के अनुसार, शाओमी के बड़े मॉडल एप्लिकेशन टीम ने वीडियो ऑडियो जेनरेशन फ्रेमवर्क ControlFoley को जारी किया और ओपन सोर्स किया। पहले, AI वीडियो डबिंग मुख्य रूप से मॉडल द्वारा दृश्य के आधार पर ध्वनि का अनुमान लगाकर की जाती थी, जिससे सृजनकर्ता को ध्वनि शैली को सटीकता से नियंत्रित करने में कठिनाई होती थी। ControlFoley का मुख्य ध्यान 'नियंत्रणयोग्यता' पर है: यह न केवल दृश्य के आधार पर डबिंग कर सकता है, बल्कि पाठ वर्णन या संदर्भ ऑडियो को भी स्वीकार कर सकता है, ताकि ध्वनि सृजनकर्ता के इरादे के अनुसार उत्पन्न हो। उदाहरण के लिए, दरवाज़ा खटखटाने की आवाज़ को 'धातु की खटखटाहट' में बदलना, या ड्रम की ध्वनि का उपयोग टेनिस की प्रहार हरकत के साथ मेल खाने के लिए करना—मॉडल सभी स्थितियों में ध्वनि-दृश्य समन्वय को बनाए रखते हुए निर्दिष्ट शैली के साथ मेल खा सकता है। तकनीकी रूप से, ControlFoley CAV-MAE पर आधारित समय-अंतरिक्ष ऑडियो-वीडियो कोडेक का उपयोग करता है, और 'समय-टोन डिकपलिंग' रणनीति को पेश करता है, जहाँ ध्वनि के होने का समय वीडियो को सौंपा जाता है, और ध्वनि की शैली संदर्भ ऑडियो को। पेपर में परिभाषित मल्टी-टास्क मूल्यांकन में, ControlFoley कई सामान्य वीडियो डबिंग परीक्षणों में ओपन-सोर्स SOTA स्तर प्राप्त करता है। यहाँ तक कि जब पाठ निर्देश और दृश्य सामग्री में मजबूत संघर्ष होता है, मॉडल पाठ का पालन करते हुए समय समन्वय को भी संतुलित करता है। 商业闭源系统 Kling-Foley के संबंध में, ControlFoley सामग्री समन्वय, समय समन्वय, और संवेदनशील गुणवत्ता सहित कई सूचकांकों में प्रतिस्पर्धी है; हालाँकि, Kling-Audio-Eval और MovieGen-Audio-Bench के कुछ KL-विचलन मिलान सूचकांकों पर अभी अंतर है। वर्तमान में, प्रोजेक्ट की प्रौद्योगिकी प्रतिवेदन, कोड, मॉडल वजन, और Demo सभी उपलब्ध हैं। (स्रोत: BlockBeats)