Cartesia ra mắt Sonic-3.5 và Ink-2 cho AI giọng nói thời gian thực

Theo Beating Monitoring, công ty khởi nghiệp mô hình âm thanh AI Cartesia đã công bố ra mắt Sonic-3.5 và Ink-2, đồng thời giới thiệu một nền tảng công nghệ thống nhất cho tác nhân âm thanh thời gian thực được tạo thành từ hai mô hình này. Sonic-3.5 chịu trách nhiệm chuyển văn bản thành giọng nói (TTS), trong khi Ink-2 xử lý chuyển giọng nói thành văn bản (STT). Sonic-3.5 được tối ưu hóa để tạo âm thanh thời gian thực với độ trễ thấp, thời gian đầu tiên đầu ra âm thanh được rút ngắn xuống còn 90 miligiây. Mô hình hỗ trợ sẵn 42 ngôn ngữ và có thể phát âm chính xác các từ đồng âm và ký tự số trong tiếng Anh mà không cần tiền xử lý. Tỷ lệ lỗi từ (Word Error Rate) của Ink-2 đã giảm xuống còn 3,6%, đồng thời tích hợp cơ chế phát hiện vòng lặp bản địa (Native Turn-Detection) và xử lý tiếng ồn, cho phép xác định người dùng đã kết thúc phát ngôn dựa trên ngữ nghĩa và ý nghĩa câu, thay vì chỉ dựa vào khoảng thời gian im lặng truyền thống. Hiện tại Ink-2 chỉ có phiên bản tiếng Anh, các phiên bản đa ngôn ngữ sẽ được phát hành sau. Các nhà phát triển có thể gọi cả hai mô hình thông qua một API duy nhất. Sonic-3.5 và Ink-2 được thiết kế để phối hợp luồng hai chiều, nhằm giảm độ trễ truyền tải và tổn thất hệ thống do việc ghép nối nhiều nhà cung cấp gây ra.