Xiaohongshu mở nguồn mô hình TTS 2 tỷ tham số dots.tts với khả năng sao chép giọng nói Zero-Shot

Theo dữ liệu từ Beating, Xiaohongshu hi lab đã mở nguồn mô hình TTS tự hồi quy đầu đến cuối với 2 tỷ tham số mang tên dots.tts và công bố đầy đủ mã推理 và tinh chỉnh theo giấy phép Apache 2.0. Các trọng số được công bố bao gồm phiên bản tiền huấn luyện cơ bản, phiên bản tinh chỉnh tự sửa lỗi đồng bộ (SCA) và phiên bản nén cho推理 độ trễ thấp. Khác với các kiến trúc TTS truyền thống dựa vào các Token mã hóa âm thanh rời rạc (Discrete Codec Tokens) như VALL-E, CosyVoice, ChatTTS, dots.tts triển khai kiến trúc tự hồi quy dòng liên tục hoàn toàn, không sử dụng bất kỳ Token rời rạc nào trong toàn bộ quy trình. dots.tts kết hợp các đặc trưng liên tục được trích xuất từ AudioVAE với tần số lấy mẫu 48 kHz, bộ mã hóa ngữ nghĩa, mô hình ngôn ngữ cốt lõi (khởi tạo từ Qwen2.5-1.5B-Base, xử lý trực tiếp văn bản BPE mà không cần đầu vào拼音), cùng đầu âm thanh tự hồi quy dòng khớp, dự đoán các biến tiềm ẩn liên tục và tái tạo thành âm thanh thông qua bộ sinh. Nhờ dự đoán trực tiếp các đặc trưng liên tục, dots.tts tránh được tổn thất chất lượng âm thanh do lượng tử hóa rời rạc, giữ nguyên chi tiết phát âm, độ tương đồng sắc thái và khả năng biểu đạt cảm xúc. dots.tts được tiền huấn luyện trên khoảng 1,5 triệu giờ dữ liệu âm thanh. Trong đánh giá Seed-TTS-Eval, dots.tts đạt tỷ lệ lỗi từ (WER) lần lượt là 0,94% / 1,30% / 6,60% trên các bộ thử nghiệm tiếng Trung, tiếng Anh và tiếng Trung khó, đồng thời đạt điểm tương đồng (SIM) là 81,0 / 77,1 / 79,5 — đều ở mức SOTA mở nguồn. Trong bài kiểm tra chuẩn MiniMax Multilingual với 24 ngôn ngữ, điểm tương đồng người nói trung bình đạt 83,9. Xiaohongshu đã cung cấp không gian trải nghiệm Gradio trên Hugging Face để người dùng thử nghiệm sao chép âm thanh không mẫu trong thời gian thực.