Xiaomi ওমনিভয়েস খোলা সোর্স করেছে: ওপেন ডেটাতে প্রশিক্ষিত ৬৪৬ ভাষার ভয়েস ক্লোনিং মডেল

Beating মনিটরিং অনুযায়ী, শাওমি AI ল্যাবের নতুন প্রজন্মের Kaldi দল OmniVoice নামক একটি ওপেন-সোর্স জিরো-শট স্পিচ ক্লোনিং TTS (টেক্সট-টু-স্পিচ) মডেল প্রকাশ করেছে, যা 646টি ভাষাকে সমর্থন করে। কয়েক সেকেন্ডের রেফারেন্স অডিও দিয়েই স্বর ক্লোন করা যায়, এবং এটি ভাষা পার্থক্য ছাড়াই কাজ করে: একটি চীনা রেকর্ডিং দিলে, মডেলটি একই স্বরে জাপানি, কোরিয়ান বা অন্যান্য ভাষায় বলতে পারে। কোড,ওয়েটস, এবং ট্রেনিং ডেটা সবকিছুই Apache-2.0 লাইসেন্সের অধীনে ওপেন-সোর্স। আর্কিটেকচারে, OmniVoice একটি অত্যন্ত সরল পদ্ধতি অনুসরণ করে। সম্পূর্ণ মডেলটি শুধুমাত্র একটি বাইডিরেকশনাল Transformer, যা সরাসরি টেক্সটকে মাল্টি-কোডবুক অডিওটোকেন (শব্দের ডিসক্রিট এনকোডিং) -এ ম্যাপ করে, যা প্রথমে সেমান্টিক টোকেনে, তারপর অডিওটোকেনে রূপান্তরিত হওয়ার দুই-পর্যায়ের পাইপলাইনের প্রয়োজনীয়তা বাদ দেয়। এই সরল কাঠামোকে দুটি কীভাবে সমর্থন করে: 1) ফুল-কোডবুক র‍্যান্ডম্‌-মাস্কিং স্ট্র্যাটেজি,যা ট্রেনিংয়ের দক্ষতা বাড়ায়; 2) BLM-এর প্রি-ট্রেনড প্যারামিটারগুলির initialization,যা উচ্চারণের 정확তা । ইনফারেন্সেরগতি 40x real-time, PyTorch-এর 100% direct run,অতিরিক্ত optimization-এর । ট্রেনিংয়ের 50টি open-source speech dataset-এর data-এর 580,000 hours (noise reduction and quality filtering after)। low-resource languages-এর training efficiency maintain korar jnno dynamic upsampling use kora hoyeche। 24টি language-এ test korle, OmniVoice-এর voice similarity and intelligibility koyekta commercial system-এর upor superioir। 102টি language-এ test korle, intelligibility real recording-এr soman or even better। 10 hours er kom training data thakleo low-resource language-er synthesis possible। Speech cloning-এর poriborte, model ta text-based voice customization (যেমন: "পুরুষ,মধ্যবয়স্ক,অতি low pitch" or "মহিলা,যুবতী,Sichuan dialect"), noisy reference audio auto denoising, laughter, sighs etc. prosodic symbols insertion, and Chinese/English homograph and proper noun pronunciation correction support kore।