Xiaomi ভিডিও সাউন্ড জেনারেশন ফ্রেমওয়ার্ক ControlFoley ওপেন সোর্স করেছে

ME সংবাদের মতে, ২৯ মে (UTC+8), ডিনচা বিটিং-এর মনিটরিং অনুযায়ী, শাওমির বড় মডেল অ্যাপ্লিকেশন টিম ভিডিও অডিও জেনারেশন ফ্রেমওয়ার্ক ControlFoley প্রকাশ করেছে এবং ওপেন-সোর্স করেছে। আগের AI ভিডিও ডাবিংয়ের ক্ষেত্রে মডেলগুলি শুধুমাত্র দৃশ্যের ভিত্তিতে শব্দ অনুমান করত, যার ফলে সৃষ্টিশীলদের শব্দের স্টাইলকে নিখুঁতভাবে নিয়ন্ত্রণ করা কঠিন হত। ControlFoley-এর মূল ফোকাস হল 'নিয়ন্ত্রণযোগ্যতা': এটি দৃশ্যের ভিত্তিতেও ডাবিং করতে পারে, এবং টেক্সট ডেসক্রিপশন বা রেফারেন্স অডিওও গ্রহণ করতে পারে, যাতে শব্দগুলি সৃষ্টিশীলদের ইচ্ছা অনুযায়ী তৈরি হয়। উদাহরণস্বরূপ, 'দরজা কnock' শব্দকে 'ধাতব আঘাত' শব্দে পরিবর্তন করা বা 'টেনিস' আঘাতের ক্রিয়াকে 'ড্রাম' শব্দের সাথে মিলিয়ে দেওয়া—মডেলটি শব্দ-চিত্রের সমন্বয় বজায় রাখতে পারে, একইসঙ্গে নির্দিষ্ট স্টাইলকেও অনুসরণ করতে। নীচের স্তরে, ControlFoley CAV-MAE-এর উপরভিত্তি একটি স্পেস-টাইমলি অডিও-ভিডিও এনকোডার ব্যবহার করে, এবং 'টাইম-টোন-ডিকপলিং' (সময়-সুর-বিচ্ছিন্নকরণ) কৌশলটি চালু করেছে,যা শব্দের ঘটনা-সময়কেভিডিওতে,এবংশব্দ-স্টাইলকেরেফারেন্সঅডিওতেদিয়েদেয়।পপার-পরীক্ষণগুলিতে,ControlFoleyঅনেকসাধারণভিডিওডাবিংপরীক্ষায়ওপেন-সোর্সSOTAস্তরপৌঁছেছে।এমনকিযখনটেক্সটকমান্ডএবংদৃশ্যসমগ্রতারমধ্যেতীব্রঅসঙ্গতিহয়,মডেলটিটেক্সটঅনুসরণএবংসময়সমন্বয়দুটিইপূরণকরতেপারে।বাণিজ্যিকবন্ধঅডিওসিস্টেমKling-Foley-এরসঙ্গেতুলনায়,ControlFoleyসিম্যানটিকঅ্যালাইনমেন্ট,সমন্বয়এবংপরিলক্ষিতগুণমানসহঅনেকগুলিইনডেক্সএখনওপ্রতিদ্বন্দ্বিতা।তবেKling-Audio-EvalএবংMovieGen-Audio-Bench-একটি-কলমবনধপদকপদকগুলিরঅংশগুলিতেএখনওফারফারহয়।বর্তমানে,প্রজেক্টটিরটেকনিক্যালরিপোর্ট,কোড,মডেলওয়েটসএবংডেমোসবইখোলা।(উৎস: BlockBeats)