Ngày 30 tháng 10, IT之家 đưa tin, người dùng sử dụng các ngôn ngữ ít được dùng có thể phải trả phí cao hơn khi sử dụng dịch vụ AI so với người dùng tiếng Anh và các ngôn ngữ chính khác.
Vào ngày 28, theo báo cáo của phương tiện truyền thông nước ngoài Rest of World, một nghiên cứu do Liên minh Nghiên cứu Công bằng Ngôn ngữ AI công bố hồi tháng trước cho thấy các mô hình AI có thể tiêu tốn số lượng Token khác biệt đáng kể khi xử lý các ngôn ngữ khác nhau. Token là đơn vị cơ bản mà mô hình AI sử dụng để xử lý dữ liệu như văn bản, được tạo ra bởi bộ phân từ để tách rời văn bản, hình ảnh hoặc âm thanh. Các nhà nghiên cứu gọi chi phí bổ sung phát sinh do sự khác biệt này là “loại thuế phân từ” ngầm ẩn, đặc biệt ảnh hưởng đến các ngôn ngữ có ít nội dung trực tuyến hơn.
Nghiên cứu phát hiện rằng ngay cả với 20 ngôn ngữ phổ biến nhất trên internet, lượng token tiêu thụ cũng có sự khác biệt rõ rệt, cao nhất gấp 1,5 đến 5 lần so với thấp nhất. Nếu mở rộng phạm vi kiểm tra lên 200 ngôn ngữ, khoảng cách này sẽ còn lớn hơn nữa. Trong một trong các mô hình AI, lượng token tiêu thụ giữa các ngôn ngữ chênh lệch nhiều nhất lên đến 17 lần.
Báo cáo nghiên cứu chỉ ra rằng, một startup tại Bangalore có thể phải chi trả chi phí cao hơn mỗi lần gửi lệnh và nhận câu trả lời từ AI so với đối thủ tại Austin. Vấn đề do “loại thuế token” gây ra không chỉ dừng lại ở mức chi phí tăng cao. Số lượng token tiêu tốn càng nhiều, phản hồi của AI càng chậm và khả năng xử lý ngữ cảnh hiệu quả càng giảm.
Các khu vực có tài nguyên tính toán và điều kiện mạng vốn đã hạn chế đã bị ảnh hưởng nghiêm trọng. Sự bất bình đẳng trong xử lý phân đoạn cũng hạn chế cơ hội tham gia vào nền kinh tế AI của mọi người.
Người đồng sáng lập quỹ đầu tư mạo hiểm tập trung vào AI đầu tiên của Ấn Độ, Activate AI, Pratyush Chaudhury, chỉ ra rằng khi sử dụng các ngôn ngữ không phải tiếng Anh, cùng một dung lượng ngữ cảnh sẽ chứa được ít tài liệu và lịch sử hội thoại hơn, và các câu trả lời do AI tạo ra cũng khó khăn hơn.
Chaudhury giải thích bằng ví dụ về giảng dạy: “Để dạy học sinh hiệu quả, giáo viên phải ghi nhớ những lỗi học sinh đã mắc phải trước đây và những giải thích nào đã được cung cấp. Nếu sử dụng một ngôn ngữ nào đó, những hồ sơ lịch sử này sẽ nhanh chóng lấp đầy cửa sổ ngữ cảnh, cuối cùng ảnh hưởng đến chất lượng giảng dạy.”
Chaudhury cho rằng hiệu quả xử lý ngôn ngữ nên trở thành yêu cầu cơ bản của các sản phẩm AI, giống như độ chính xác, tốc độ và độ tin cậy. “Việc yêu cầu tất cả các ngôn ngữ được đối xử hoàn toàn bình đẳng có thể không thực tế, nhưng khoảng cách lớn kéo dài vẫn cần được giải thích hợp lý và có kế hoạch cải thiện. Tôi mong muốn tất cả các phòng thí nghiệm AI lớn đều công bố kết quả đánh giá cho từng ngôn ngữ, nêu rõ chi phí để thực hiện các nhiệm vụ có độ khó tương đương bằng các ngôn ngữ khác nhau, đồng thời cam kết cải thiện hỗ trợ cho những ngôn ngữ yếu nhất và đạt được tiến bộ có thể đo lường được.”
IT之家 biết từ báo cáo rằng một trong những cách cải thiện vấn đề này là nâng cao chất lượng dữ liệu nền tảng.
Tuy nhiên, Liên minh Nghiên cứu Công bằng Ngôn ngữ Trí tuệ Nhân tạo phát hiện rằng, không chỉ có số lượng người sử dụng một ngôn ngữ quyết định lượng Token tiêu thụ, mà việc sử dụng chữ viết nào cũng rất quan trọng.
Ví dụ, ngôn ngữ Asturian có số người sử dụng ít và không được bao gồm trong bộ dữ liệu Common Crawl, nhưng chữ cái Latinh đã mang lại lợi thế cho nó. Các ngôn ngữ cùng nhóm La-tinh như tiếng Ý đã được bao phủ trong dữ liệu, cũng giúp ích cho Asturian.
CEO của Maya Research, Diment Reddy, chỉ ra rằng nhiều bộ tách từ hiện tại vẫn chủ yếu được tối ưu hóa cho các ngôn ngữ có nguồn dữ liệu dồi dào như tiếng Anh, và vấn đề cốt lõi là thiếu dữ liệu số hóa chất lượng cao.
Radhi nhấn mạnh rằng việc cải thiện chính dữ liệu huấn luyện vẫn chưa đủ: “Giá token giảm nhanh chóng, tác động trực tiếp do chênh lệch phí sẽ dần được giảm nhẹ. Dữ liệu đa ngôn ngữ và dữ liệu tổng hợp chất lượng cao hơn cũng giúp nâng cao chất lượng mô hình. Tuy nhiên, để thực sự thu hẹp khoảng cách phân từ giữa các ngôn ngữ khác nhau, các phòng thí nghiệm AI vẫn cần cải tiến đặc biệt thiết kế bộ phân từ thế hệ tiếp theo, để chúng xử lý tốt hơn các ngôn ngữ và chữ viết này.”