Xiaohongshu відкрила вихідний код TTS-моделі з 2 мільярдами параметрів dots.tts з нульовою клонуванням голосу

За даними Beating Monitoring, Xiao Hong Shu hi lab відкрила 2-мільярдний параметричний енд-ту-енд архітектурний текстово-відео (TTS) моделі dots.tts та опублікувала повний код інференсу та тонкої настройки за ліцензією Apache 2.0. Опубліковані ваги включають базову версію попереднього навчання, версію з тонкою настройкою за принципом самокорекції та вирівнювання (SCA), а також версію з дистиляцією для низької затримки інференсу. Відмінно від традиційних архітектур TTS, які залежать від дискретних аудіо-кодек-токенів (наприклад, VALL-E, CosyVoice, ChatTTS), dots.tts реалізує повністю безперервну, енд-ту-енд архітектуру зі збігом потоку, не використовуючи жодних дискретних токенів у всьому конвеєрі. dots.tts поєднує безперервні функції, отримані з AudioVAE з частотою дискретизації 48 кГц, семантичний енкодер, основну мовну модель (ініціалізована з Qwen2.5-1.5B-Base, яка безпосередньо обробляє BPE-текст, без потреби у піньїнь-вводі) та архітектуру акустичного головного модуля зі збігом потоку, щоб передбачати безперервні латентні змінні, які потім генератор перетворює у аудіо. Завдяки прямому передбаченню безперервних функцій, dots.tts уникнув втрат якості звуку, пов’язаних із дискретною квантизацією, зберігши деталі вимови, схожість тембру та емоційну виразність. dots.tts була попередньо навчена на приблизно 1,5 мільйона годинах аудіоданих. У тестах Seed-TTS-Eval dots.tts показала показники WER (частота помилок на слово) для китайської, англійської та складних китайських тестових наборів: 0,94% / 1,30% / 6,60%, а також показники SIM (схожість): 81,0 / 77,1 / 79,5 — усі на рівні SOTA для відкритих джерел. У тестах на мультиязичному бенчмарку MiniMax Multilingual з 24 мовами середнє значення схожості говорця досягло 83,9. Xiao Hong Shu надала Gradio-простір на Hugging Face для онлайн-тестування клонування голосу без прикладу.