Xiaohongshu เปิดตัวโมเดล TTS ขนาด 2 พารามิเตอร์ dots.tts พร้อมการจำลองเสียงแบบ Zero-Shot

ตามการตรวจสอบของ Beating, Xiaohongshu hi lab ได้เปิด-source โมเดล TTS (Text-to-Speech) แบบอัตโนมัติแบบ end-to-end ขนาด 2 พันล้านพารามิเตอร์ชื่อ dots.tts และเปิดเผยโค้ดการอนุมานและการปรับแต่งแบบเต็มรูปแบบภายใต้ใบอนุญาต Apache 2.0 น้ำหนักที่เผยแพร่รวมถึงรุ่นการฝึกล่วงหน้าพื้นฐาน รุ่นที่ปรับแต่งด้วย Self-Correction Alignment (SCA) และรุ่นที่ถูกบีบอัดสำหรับการอนุมานแบบความล่าช้าต่ำ ต่างจากสถาปัตยกรรม TTS แบบดั้งเดิมที่พึ่งพา Token รหัสเสียงแบบไม่ต่อเนื่อง (Discrete Codec Tokens) เช่น VALL-E, CosyVoice, ChatTTS เป็นต้น dots.tts ใช้สถาปัตยกรรมแบบอัตโนมัติแบบต่อเนื่องแบบ end-to-end โดยไม่ใช้ Token แบบไม่ต่อเนื่องเลยในทุกขั้นตอนของกระบวนการ dots.tts รวมคุณลักษณะต่อเนื่องที่ดึงมาจาก AudioVAE ที่มีอัตราการสุ่มตัวอย่าง 48 kHz เข้ากับตัวเข้ารหัสความหมาย โมเดลภาษาหลัก (เริ่มต้นจาก Qwen2.5-1.5B-Base โดยจัดการข้อความ BPE โดยตรงโดยไม่ต้องใช้พินอิน) และหัวเสียงแบบอัตโนมัติแบบต่อเนื่อง เพื่อทำนายตัวแปรซ่อนแบบต่อเนื่อง และสร้างเสียงใหม่โดยเครื่องกำเนิด เนื่องจากทำนายคุณลักษณะแบบต่อเนื่องโดยตรง dots.tts จึงหลีกเลี่ยงการสูญเสียคุณภาพเสียงที่เกิดจากการควอนไตรซ์แบบไม่ต่อเนื่อง และรักษาความละเอียดของการออกเสียง ความคล้ายคลึงของโทนเสียง และการแสดงอารมณ์ dots.tts ได้รับการฝึกล่วงหน้าด้วยข้อมูลเสียงประมาณ 1.5 ล้านชั่วโมง ในการประเมิน Seed-TTS-Eval dots.tts มีอัตราความผิดพลาดของคำ (WER) สำหรับภาษาจีน อังกฤษ และชุดทดสอบภาษาจีนที่ยาก อยู่ที่ 0.94% / 1.30% / 6.60% และคะแนนความคล้ายคลึง (SIM) อยู่ที่ 81.0 / 77.1 / 79.5 ซึ่งอยู่ในระดับ SOTA สำหรับแหล่งเปิดเผย ในการทดสอบมาตรฐาน MiniMax Multilingual กับภาษา 24 ภาษา คะแนนความคล้ายคลึงของผู้พูดเฉลี่ยอยู่ที่ 83.9 Xiaohongshu ได้จัดเตรียมพื้นที่ทดลอง Gradio บน Hugging Face เพื่อให้ผู้ใช้สามารถทดสอบการจำลองเสียงแบบ zero-shot ออนไลน์