IT之家 30 Ekim'de, az kullanılan dilleri kullanan kullanıcılar, AI hizmetlerini kullanırken İngilizce ve diğer ana dilleri kullanan kullanıcılar보다 daha yüksek ücretler ödemek zorunda kalabilir.
28'de yerel saatle, dış medya kaynakları Rest of World'a göre, yapay zeka dil adilliği itirafı geçen ay yayınladığı bir araştırmada, AI modellerinin farklı dilleri işleme sırasında tüketebileceği Token sayısının büyük ölçüde farklı olabileceğini ortaya koydu. Token, AI modellerinin metin, görüntü veya ses gibi verileri işlemek için kullandığı temel birimdir ve tokenizer tarafından metin, görüntü veya ses parçalara ayrılır. Araştırmacılar, bu nedenle ortaya çıkan ek maliyetleri gizli bir “tokenizer vergisi” olarak adlandırdı ve daha az çevrimiçi içeriğe sahip diller özellikle etkileniyor.
Araştırmalar, en yaygın 20 internet dili bile Token tüketiminde belirgin farklılıklara sahip olduğunu gösteriyor; en yüksek tüketim, en düşük tüketimin 1,5 ila 5 katı. Test alanı 200 dile genişletilirse, bu fark daha da artar. Bir AI modelinde, farklı diller arasında Token tüketimi en fazla 17 kat farklılık gösterdi.
Rapor, Bangalore'daki bir girişimcinin her AI komutu girdiğinde ve cevap aldığında, Austin'deki rakiplerinden daha yüksek maliyetler ödediğini gösteriyor. "Tokenizasyon vergisi" sorunu sadece maliyet artışına değil, daha fazla token tüketildikçe AI yanıt hızının azalmasına ve işlenebilen bağlam miktarının azalmasına da neden oluyor.
Kaynaklar ve ağ koşulları zaten sınırlı olan bölgeler özellikle ciddi şekilde etkilendi. Kelime bölme konusundaki eşitsizlik, insanların AI ekonomisine katılımını da sınırlıyor.
Hintistan'ın ilk AI yatırımı odaklı sermaye yatırımı fonu Activate AI'nın ortak kurucusu Pratyush Chaudhuri, İngilizce olmayan diller kullanıldığında aynı bağlam kapasitesinin daha az belge ve diyalog kaydını barındırdığını ve AI'nın cevap üretmenin daha zor olduğunu belirtti.
Çoudhury, öğretim örneğiyle şöyle açıkladı: “Öğretmen, öğrencilerin önce ne tür hatalar yaptığını ve hangi açıklamaları aldığını hatırlamalıdır. Bir dil kullanıldığında, bu geçmiş veriler hızlıca bağlam penceresini doldurur ve nihayetinde öğretim kalitesi etkilenir.”
Choudhury, dil işleme verimliliğinin, doğruluk, hız ve güvenilirlik gibi AI ürünlerinin temel bir gerekliliği haline gelmesi gerektiğini düşünüyor. "Tüm dillerin tamamen eşit muamele görmesi istenilebilir olmasa da, uzun süredir devam eden büyük farklar mantıklı bir şekilde açıklanmalı ve iyileştirme planları hazırlanmalıdır. Tüm büyük AI laboratuvarlarının, aynı zorluk düzeyindeki görevleri farklı dillerde tamamlamak için ne kadar maliyet çıktığını açıklayan dil bazlı değerlendirme sonuçlarını yayınlamalarını ve en zayıf dilleri desteklemeye yönelik ölçülebilir ilerleme sağlamayı taahhüt etmelerini umuyorum."
IT之家'nın habere göre, bu sorunu çözmek için bir yol, temel verilerin kalitesini artırmaktır.
Ancak Yapay Zeka Dil Eşitliği Araştırması İttifakı, token tüketimini belirleyenin yalnızca bir dilden konuşulan kişi sayısı olmadığını, aynı zamanda hangi yazı sisteminin kullanıldığının da önemli olduğunu buldu.
Örneğin, asturcaca konuşanların sayısı azdır ve Common Crawl veri kümesinde yer almaz, ancak Latin alfabesi ona avantaj sağlar. İtalyanca gibi aynı Roman dil ailesine ait diller veride yer alır ve bu da asturcaca için fayda sağlar.
Maya Research CEO Diment Reddy, mevcut birçok bölümlendiricinin hala İngilizce gibi veri kaynakları zengin dillere odaklandığını ve temel sorunun kaliteli dijital veri eksikliği olduğunu belirtti.
Reddi, eğitim verilerini iyileştirmenin yeterli olmadığını vurguladı: "Token fiyatları hızlı bir şekilde düşüyor, ücret farklarından kaynaklanan doğrudan etkiler zamanla hafifleyecektir. Daha iyi çok dilli ve sentetik veriler de model kalitesini artırmaya yardımcı olur. Ancak farklı diller arasındaki tokenizasyon farkını gerçekten kapatmak için AI laboratuvarları, bu dilleri ve yazıları daha iyi işlemek üzere bir sonraki nesil tokenizasyon aletlerinin tasarımını özel olarak geliştirmeye devam etmelidir."