Bagong Pag-aaral ay Nagpapakita na Ang mga Gastos sa AI Model ay Nagkakaiba Ayon sa Wika, Ang Paggamit ng Token ay Maaaring Magkakaiba ng 17x

icon币界网
I-share
AI summary iconSummary
Ang bagong balita tungkol sa AI + crypto ay nagpapakita na ang mga gastos ng token ay nagkakaiba-iba ayon sa wika, na may pagkakaiba sa paggamit hanggang 17 beses. Hanapin ng AI Language Fairness Research Alliance na ang mga wika na hindi Ingles ay nagtatagpo ng mas mataas na gastos at mas mabagal na bilis. Ang limitadong nilalaman sa online ay nagpapataas ng 'tokenizer tax,' na nakakaapekto sa mga bagong paglalathala ng token sa mga rehiyon na may limitadong yaman. Ang problema ay naghihinder sa pag-access sa AI kung saan ang computing at network resources ay kakaunti.
Inilathala ng CoinMarketCap:

IT之家, Oktubre 30—Ang mga gumagamit ng mga wika na may kaunting bilang ng gumagamit ay maaaring kailangang magbayad ng mas mataas na bayarin para sa AI services kumpara sa mga gumagamit ng Ingles at iba pang pangunahing wika.

Sa lokal na oras ng ika-28, ayon sa panlabas na midya na Rest of World, isang pag-aaral na inilabas noong nakaraang buwan ng Alliance for Linguistic Fairness in AI ay natuklasan na ang bilang ng Token na ginagamit ng AI models sa pagproseso ng iba’t ibang wika ay maaaring magkaiba nang malaki. Ang Token ay ang pangunahing yunit na ginagamit ng AI models sa pagproseso ng data tulad ng teksto, at ito ay nabubuo sa pamamagitan ng tokenizer na naghihiwalay sa teksto, imahe, o audio. Tinawag ng mga mananaliksik ang karagdagang gastos na dulot ng iba’t ibang wika bilang impalabas na “tax sa tokenizer,” at lalo na naiimpluwensyahan ng ganitong sitwasyon ang mga wika na may kaunting nilalaman sa internet.

Ang pag-aaral ay nagpakita na kahit sa mga pinakamalawakang ginagamit na 20 wika sa internet, may malinaw na pagkakaiba sa paggamit ng Token, na maaaring umabot sa 1.5 hanggang 5 beses ang pinakamataas kumpara sa pinakamababa. Kung papalawakin ang pagsubok sa 200 wika, mas lalawak pa ang pagkakaiba. Sa isang AI model, ang pagkakaiba sa paggamit ng Token ay maaaring umabot sa 17 beses.

Ang研究报告 ay nagpapakita na ang isang startup sa Bangalore ay maaaring magbayad ng mas mataas na gastos bawat beses na ipinapasa ang isang utos sa AI at kinukuha ang sagot kumpara sa kanilang kalaban sa Austin. Ang problema ng "tax sa tokenizer" ay hindi lamang tumutukoy sa pagtaas ng gastos. Mas maraming token na ginagamit, mas mabagal ang response ng AI, at mas kaunti ang konteksto na maaaring ma-proseso nang epektibo.

Ang mga rehiyon na may limitadong compute resources at network conditions ay mas malubhang naapektuhan. Ang pagkakaroon ng hindi pantay na pagtrato sa paghahati ng mga salita ay naglalayong limitahan ang pagkakataon ng mga tao na makilahok sa AI economy.

Pinagsabihan ni Pratyush Chaudhuri, co-founder ng Activate AI, ang unang venture capital fund sa India na nakatuon sa AI, na kapag ginagamit ang mga wika na hindi Ingles, mas kaunti ang mga dokumento at talaan ng talakayan na maaaring maipakita sa parehong kapasidad ng konteksto, at mas mahirap para sa AI na lumikha ng mga sagot.

Ipinaliwanag ni Choudhury na, "Upang mabuti ang pagtuturo ng guro, kailangan niyang tandaan kung ano ang mga kamalian na ginawa ng mga mag-aaral at anong mga paliwanag ang kanilang natanggap. Kung gamitin ang isang wika, maaaring mabuo agad ang mga nakaraang rekord sa window ng konteksto, at sa huli, maaapektuhan ang kalidad ng pagtuturo."

Sa paniniwala ni Choudhury, ang efisiyensiya sa pagproseso ng wika ay dapat maging pangunahing kinakailangan sa mga produkto ng AI, tulad ng akurasyon, bilis, at kumpiyansa. “Maaaring hindi praktikal na hilingin ang ganap na pantay-pantay na pagtrato para sa lahat ng wika, ngunit ang matagal nang malaking pagkakaiba ay kailangang maipaliwanag nang maayos at kailangang magkaroon ng plano para sa pagpapabuti. Nais kong magpahayag ng mga resulta ng pagsusuri para sa bawat wika lahat ng pangunahing laboratorio ng AI, ipaliwanag kung gaano karaming gastos ang kailangan para sa magkakaparehong antas ng gawain gamit ang iba’t ibang wika, at magbigay ng pangako na mapabuti ang suporta sa pinakamahinang wika at makamit ang makikita at masusukat na pag-unlad.”

Natutunan ng IT Home na isa sa mga paraan upang mapabuti ang problema ay ang pagpapabuti sa kalidad ng mga pundamental na data.

Gayunpaman, natuklasan ng Alliance for Fair Research on AI Languages na hindi lamang ang bilang ng mga gumagamit ng isang wika ang nagdedesisyon sa dami ng paggamit ng Token, kundi kahalagahan din ng uri ng sulat na ginagamit.

Halimbawa, ang mga tagapagsalita ng Asturian ay maraming kaunti at hindi kasama sa Common Crawl dataset, ngunit ang paggamit ng Latin alphabet ay nagbigay sa kanila ng kahalagahan. Ang mga wika na katulad ng Italian na kasali sa pamilya ng Romance ay nakapaloob sa data, na nagbigay din ng benepisyo sa Asturian.

Pinuntahan ni Maya Research CEO, Dimant Reddy, na marami pa ring tokenizer na nakatuon sa mga wika na may malaking dami ng datos tulad ng Ingles, at ang pangunahing problema ay ang kakulangan sa mataas na kalidad ng digital na data.

Pinahalagahan ni Li ang pagpapabuti ng mga datos sa pagsasanay: "Bumababa nang mabilis ang presyo ng mga token, at ang direkta epekto ng pagkakaiba sa mga bayarin ay dapat magpapaliwanag nang paulit-ulit. Ang mas mahusay na multilinggwal at sintetikong datos ay nakakatulong din sa pagpapabuti ng kalidad ng modelo. Ngunit upang talagang mabawasan ang pagkakaiba sa paghahati ng mga wika, kailangan pa rin ng mga AI laboratoryo ang espesyal na pagpapabuti sa disenyo ng susunod na henerasyon ng mga tokenizer upang mas mabuti silang magtrabaho sa mga wika at sulat na ito."

Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.