IT Home, 30 Oktober, pengguna bahasa yang jarang digunakan mungkin perlu membayar biaya lebih tinggi dibandingkan pengguna bahasa Inggris dan bahasa utama lainnya saat menggunakan layanan AI.
Pada tanggal 28 waktu setempat, menurut laporan media luar negeri Rest of World, sebuah penelitian yang dirilis bulan lalu oleh Alliance for Linguistic Fairness in AI menemukan bahwa model AI dapat mengonsumsi jumlah Token yang sangat berbeda saat memproses bahasa yang berbeda. Token adalah unit dasar yang digunakan model AI untuk memproses data seperti teks, yang dihasilkan oleh tokenizer yang memecah teks, gambar, atau audio. Para peneliti menyebut biaya tambahan yang diakibatkan oleh perbedaan bahasa ini sebagai "pajak tokenizer" yang terselubung, dengan bahasa yang memiliki konten daring lebih sedikit cenderung paling terdampak.
Penelitian menemukan bahwa bahkan untuk 20 bahasa paling umum di internet, konsumsi Token menunjukkan perbedaan signifikan, dengan perbedaan hingga 1,5 hingga 5 kali lipat antara tertinggi dan terendah. Jika cakupan pengujian diperluas hingga 200 bahasa, kesenjangan ini akan semakin membesar. Dalam salah satu model AI, konsumsi Token antar bahasa dapat berbeda hingga 17 kali lipat.
Laporan penelitian menunjukkan bahwa sebuah perusahaan rintisan di Bangalore mungkin mengeluarkan biaya lebih tinggi setiap kali memberikan perintah ke AI dan menerima jawaban dibandingkan pesaingnya di Austin. Masalah yang ditimbulkan oleh "pajak tokenizer" tidak hanya berupa kenaikan biaya. Semakin banyak token yang dikonsumsi, semakin lambat respons AI, dan semakin sedikit konteks yang dapat diproses secara efektif.
Wilayah dengan sumber daya komputasi dan kondisi jaringan yang terbatas terdampak secara signifikan. Ketidaksetaraan dalam pemrosesan token juga membatasi peluang masyarakat untuk berpartisipasi dalam ekonomi AI.
Co-founder Activate AI, Pratyush Chaudhuri, yang merupakan dana modal ventura pertama di India yang fokus pada investasi AI, menunjukkan bahwa saat menggunakan bahasa non-Inggris, kapasitas konteks yang sama dapat menampung lebih sedikit dokumen dan riwayat percakapan, dan jawaban yang dihasilkan AI menjadi lebih sulit.
Choudhury menjelaskan dengan contoh pengajaran: "Seorang guru ingin mengajar siswa dengan baik, harus mengingat kesalahan apa yang pernah dilakukan siswa dan penjelasan apa yang sudah diberikan. Jika menggunakan bahasa tertentu, riwayat ini cepat memenuhi jendela konteks, akhirnya bahkan kualitas pengajaran akan terpengaruh."
Choudhury berpendapat bahwa efisiensi pemrosesan bahasa seharusnya menjadi persyaratan dasar produk AI, sejajar dengan akurasi, kecepatan, dan keandalan. “Mungkin tidak realistis untuk menuntut perlakuan sepenuhnya setara untuk semua bahasa, tetapi kesenjangan besar yang berkepanjangan masih perlu dijelaskan secara masuk akal dan direncanakan perbaikannya. Saya berharap semua laboratorium AI utama dapat mempublikasikan hasil evaluasi untuk setiap bahasa, menjelaskan biaya yang diperlukan untuk menyelesaikan tugas dengan tingkat kesulitan sama menggunakan bahasa yang berbeda, serta berkomitmen untuk meningkatkan dukungan terhadap bahasa-bahasa yang paling lemah, dengan mencapai kemajuan yang dapat diukur.”
IT Home melaporkan bahwa salah satu cara untuk memperbaiki masalah ini adalah meningkatkan kualitas data dasar.
Namun, Aliansi Penelitian Keadilan Bahasa Kecerdasan Buatan menemukan bahwa yang menentukan konsumsi Token bukan hanya jumlah pengguna satu bahasa, tetapi juga jenis tulisan yang digunakan.
Misalnya, penutur bahasa Asturias tidak banyak dan tidak termasuk dalam dataset Common Crawl, tetapi alfabet Latin memberikan keuntungan baginya. Bahasa-bahasa Roman lainnya seperti Italia yang tercakup dalam data juga memberikan manfaat bagi bahasa Asturias.
CEO Maya Research, Dimant Reddy, menunjukkan bahwa banyak tokenizer yang ada saat ini masih dioptimalkan terutama untuk bahasa-bahasa dengan sumber daya data berlimpah seperti bahasa Inggris, dan masalah mendasarnya adalah kurangnya data digital berkualitas tinggi.
Redi menekankan bahwa memperbaiki data pelatihan itu sendiri belum cukup: "Harga token turun dengan cepat, dampak langsung dari perbedaan biaya seharusnya secara bertahap berkurang. Data multibahasa dan data sintetis yang lebih baik juga membantu meningkatkan kualitas model. Namun, untuk benar-benar mengecilkan kesenjangan tokenisasi antar bahasa, laboratorium AI tetap perlu secara khusus menyempurnakan desain tokenizer generasi berikutnya agar lebih mampu menangani bahasa dan tulisan ini."