IT Home 30 Oktober, pengguna bahasa yang kurang digunakan mungkin perlu membayar lebih tinggi untuk perkhidmatan AI berbanding pengguna bahasa Inggeris dan bahasa utama lain.
Pada 28 hari ini, menurut laporan media asing Rest of World, sebuah kajian yang dikeluarkan bulan lalu oleh Konsorsium Penyelidikan Keadilan Bahasa AI mendapati bahawa model AI mungkin menghabiskan jumlah Token yang sangat berbeza apabila memproses bahasa yang berbeza. Token adalah unit asas yang digunakan oleh model AI untuk memproses data seperti teks, dihasilkan oleh tokenizer yang memecahkan teks, gambar, atau audio. Para penyelidik menyebut kos tambahan yang timbul daripada bahasa yang berbeza sebagai "cukai tokenizer" yang tersirat, dengan bahasa yang mempunyai kandungan internet kurang menjadi lebih terkesan.
Kajian mendapati bahawa walaupun 20 bahasa paling sering digunakan di internet, terdapat perbezaan yang ketara dalam penggunaan token, dengan yang tertinggi 1.5 hingga 5 kali ganda lebih tinggi daripada yang terendah. Jika lingkung ujian diperluaskan kepada 200 bahasa, jurang ini akan semakin melebar. Dalam salah satu model AI, penggunaan token antara bahasa yang berbeza berbeza sehingga 17 kali ganda.
Laporan penyelidikan menunjukkan bahawa sebuah syarikat rintisan di Bangalore mungkin mengalami kos yang lebih tinggi setiap kali menghantar arahan kepada AI dan menerima jawapan berbanding pesaing di Austin. Masalah “cukai tokenizer” bukan sahaja menyebabkan kenaikan kos. Semakin banyak token yang digunakan, semakin perlahan respons AI, dan semakin sedikit konteks yang boleh diproses secara efektif.
Kawasan-kawasan yang sudah mempunyai sumber komputasi dan keadaan rangkaian yang terhad terkesan paling teruk. Ketidaksamaan dalam pemprosesan pecahan teks juga membatasi peluang orang untuk menyertai ekonomi AI.
Praityush Choudhury, rakan pengasas dana modal ventura yang fokus pada pelaburan AI pertama di India, Activate AI, menunjukkan bahawa apabila menggunakan bahasa bukan Bahasa Inggeris, kapasiti konteks yang sama dapat menyimpan lebih sedikit dokumen dan rekod perbualan, dan jawapan yang dihasilkan oleh AI menjadi lebih sukar.
Choudhury menjelaskan dengan contoh pengajaran: "Untuk mengajar pelajar dengan baik, guru perlu mengingat kesilapan yang pernah dibuat pelajar dan penjelasan yang telah diterima. Jika menggunakan bahasa tertentu, rekod sejarah ini akan cepat memenuhi jendela konteks, akhirnya mempengaruhi kualiti pengajaran."
Choudhury berpendapat, kecekapan pemprosesan bahasa seharusnya menjadi keperluan asas dalam produk AI, sama seperti ketepatan, kelajuan, dan kebolehpercayaan. “Mungkin tidak realistik untuk menuntut perlakuan yang sepenuhnya setara untuk semua bahasa, tetapi jurang besar yang berterusan perlu dijelaskan secara munasabah dan merancang pelan peningkatan. Saya berharap semua makmal AI utama dapat mengumumkan keputusan penilaian untuk setiap bahasa, menjelaskan berapa banyak kos yang diperlukan untuk menyelesaikan tugas yang sama sukarnya menggunakan bahasa yang berbeza, serta berjanji untuk memperbaiki sokongan terhadap bahasa yang paling lemah dengan mencapai kemajuan yang boleh diukur.”
IT Home mengetahui daripada laporan itu bahawa salah satu cara untuk memperbaiki masalah ini ialah meningkatkan kualiti data asas.
Namun, Konsorsium Penyelidikan Keadilan Bahasa Kecerdasan Buatan mendapati bahawa bukan sahaja bilangan pengguna bahasa yang menentukan penggunaan Token, tetapi juga jenis aksara yang digunakan.
Sebagai contoh, pengguna bahasa Asturia tidak ramai dan tidak termasuk dalam set data Common Crawl, tetapi abjad Latin memberikan kelebihan kepadanya. Bahasa-bahasa Roman lain seperti Itali yang diliput dalam data juga memberi manfaat kepada bahasa Asturia.
CEO Maya Research, Dimant Reddy, menunjukkan bahawa banyak tokenizer yang ada masih dioptimaskan terutama untuk bahasa-bahasa dengan sumber data yang kaya seperti bahasa Inggeris, dan masalah utama ialah kurangnya data digital berkualiti tinggi.
Redi menekankan bahawa memperbaiki data latihan itu sendiri masih belum cukup: "Harga token turun dengan cepat, kesan langsung daripada perbezaan caj sepatutnya berkurang secara beransur-ansur. Data pelbagai bahasa dan data sintetik yang lebih baik juga membantu meningkatkan kualiti model. Tetapi untuk benar-benar mengurangkan jurang tokenisasi antara bahasa-bahasa yang berbeza, makmal AI masih perlu secara khusus memperbaiki reka bentuk tokenisator generasi seterusnya, supaya ia dapat menangani bahasa dan tulisan ini dengan lebih baik."