IT之家, Oktubre 30—Ang mga gumagamit ng mga wika na may kaunting bilang ng gumagamit ay maaaring kailangang magbayad ng mas mataas na bayarin para sa AI services kumpara sa mga gumagamit ng Ingles at iba pang pangunahing wika.
Sa lokal na oras ng ika-28, ayon sa panlabas na midya na Rest of World, isang pag-aaral na inilabas noong nakaraang buwan ng Alliance for Linguistic Fairness in AI ay natuklasan na ang bilang ng Token na ginagamit ng AI models sa pagproseso ng iba’t ibang wika ay maaaring magkaiba nang malaki. Ang Token ay ang pangunahing yunit na ginagamit ng AI models sa pagproseso ng data tulad ng teksto, at ito ay nabubuo sa pamamagitan ng tokenizer na naghihiwalay sa teksto, imahe, o audio. Tinawag ng mga mananaliksik ang karagdagang gastos na dulot ng iba’t ibang wika bilang impalabas na “tax sa tokenizer,” at lalo na naiimpluwensyahan ng ganitong sitwasyon ang mga wika na may kaunting nilalaman sa internet.
Ang pag-aaral ay nagpakita na kahit sa mga pinakamalawakang ginagamit na 20 wika sa internet, may malinaw na pagkakaiba sa paggamit ng Token, na maaaring umabot sa 1.5 hanggang 5 beses ang pinakamataas kumpara sa pinakamababa. Kung papalawakin ang pagsubok sa 200 wika, mas lalawak pa ang pagkakaiba. Sa isang AI model, ang pagkakaiba sa paggamit ng Token ay maaaring umabot sa 17 beses.
Ang研究报告 ay nagpapakita na ang isang startup sa Bangalore ay maaaring magbayad ng mas mataas na gastos bawat beses na ipinapasa ang isang utos sa AI at kinukuha ang sagot kumpara sa kanilang kalaban sa Austin. Ang problema ng "tax sa tokenizer" ay hindi lamang tumutukoy sa pagtaas ng gastos. Mas maraming token na ginagamit, mas mabagal ang response ng AI, at mas kaunti ang konteksto na maaaring ma-proseso nang epektibo.

Ang mga rehiyon na may limitadong compute resources at network conditions ay mas malubhang naapektuhan. Ang pagkakaroon ng hindi pantay na pagtrato sa paghahati ng mga salita ay naglalayong limitahan ang pagkakataon ng mga tao na makilahok sa AI economy.
Pinagsabihan ni Pratyush Chaudhuri, co-founder ng Activate AI, ang unang venture capital fund sa India na nakatuon sa AI, na kapag ginagamit ang mga wika na hindi Ingles, mas kaunti ang mga dokumento at talaan ng talakayan na maaaring maipakita sa parehong kapasidad ng konteksto, at mas mahirap para sa AI na lumikha ng mga sagot.
Ipinaliwanag ni Choudhury na, "Upang mabuti ang pagtuturo ng guro, kailangan niyang tandaan kung ano ang mga kamalian na ginawa ng mga mag-aaral at anong mga paliwanag ang kanilang natanggap. Kung gamitin ang isang wika, maaaring mabuo agad ang mga nakaraang rekord sa window ng konteksto, at sa huli, maaapektuhan ang kalidad ng pagtuturo."
Sa paniniwala ni Choudhury, ang efisiyensiya sa pagproseso ng wika ay dapat maging pangunahing kinakailangan sa mga produkto ng AI, tulad ng akurasyon, bilis, at kumpiyansa. “Maaaring hindi praktikal na hilingin ang ganap na pantay-pantay na pagtrato para sa lahat ng wika, ngunit ang matagal nang malaking pagkakaiba ay kailangang maipaliwanag nang maayos at kailangang magkaroon ng plano para sa pagpapabuti. Nais kong magpahayag ng mga resulta ng pagsusuri para sa bawat wika lahat ng pangunahing laboratorio ng AI, ipaliwanag kung gaano karaming gastos ang kailangan para sa magkakaparehong antas ng gawain gamit ang iba’t ibang wika, at magbigay ng pangako na mapabuti ang suporta sa pinakamahinang wika at makamit ang makikita at masusukat na pag-unlad.”
Natutunan ng IT Home na isa sa mga paraan upang mapabuti ang problema ay ang pagpapabuti sa kalidad ng mga pundamental na data.
Gayunpaman, natuklasan ng Alliance for Fair Research on AI Languages na hindi lamang ang bilang ng mga gumagamit ng isang wika ang nagdedesisyon sa dami ng paggamit ng Token, kundi kahalagahan din ng uri ng sulat na ginagamit.
Halimbawa, ang mga tagapagsalita ng Asturian ay maraming kaunti at hindi kasama sa Common Crawl dataset, ngunit ang paggamit ng Latin alphabet ay nagbigay sa kanila ng kahalagahan. Ang mga wika na katulad ng Italian na kasali sa pamilya ng Romance ay nakapaloob sa data, na nagbigay din ng benepisyo sa Asturian.
Pinuntahan ni Maya Research CEO, Dimant Reddy, na marami pa ring tokenizer na nakatuon sa mga wika na may malaking dami ng datos tulad ng Ingles, at ang pangunahing problema ay ang kakulangan sa mataas na kalidad ng digital na data.
Pinahalagahan ni Li ang pagpapabuti ng mga datos sa pagsasanay: "Bumababa nang mabilis ang presyo ng mga token, at ang direkta epekto ng pagkakaiba sa mga bayarin ay dapat magpapaliwanag nang paulit-ulit. Ang mas mahusay na multilinggwal at sintetikong datos ay nakakatulong din sa pagpapabuti ng kalidad ng modelo. Ngunit upang talagang mabawasan ang pagkakaiba sa paghahati ng mga wika, kailangan pa rin ng mga AI laboratoryo ang espesyal na pagpapabuti sa disenyo ng susunod na henerasyon ng mga tokenizer upang mas mabuti silang magtrabaho sa mga wika at sulat na ito."


