IT होम 30 अक्टूबर की सूचना, कम उपयोग की जाने वाली भाषाओं के उपयोगकर्ता, जब AI सेवाओं का उपयोग करते हैं, तो अंग्रेजी और अन्य प्रमुख भाषाओं के उपयोगकर्ताओं की तुलना में अधिक शुल्क दे सकते हैं।
28 तारीख को, विदेशी मीडिया रेस्ट ऑफ वर्ल्ड की रिपोर्ट के अनुसार, आर्टिफिशियल इंटेलिजेंस भाषा समानता अनुसंधान संघ ने पिछले महीने एक अध्ययन जारी किया, जिसमें पाया गया कि AI मॉडल विभिन्न भाषाओं को संसाधित करते समय टोकन की संख्या में भारी अंतर हो सकता है। टोकन AI मॉडल द्वारा टेक्स्ट, इमेज या ऑडियो जैसे डेटा को संसाधित करने की मूल इकाई है, जिसे टोकनाइज़र द्वारा टेक्स्ट, इमेज या ऑडियो को विभाजित किया जाता है। शोधकर्ताओं ने इस कारण उत्पन्न अतिरिक्त लागत को "टोकनाइज़र टैक्स" कहा है, और कम ऑनलाइन सामग्री वाली भाषाएँ विशेष रूप से प्रभावित होती हैं।
अध्ययनों से पता चलता है कि यहां तक कि इंटरनेट पर सबसे अधिक उपयोग की जाने वाली 20 भाषाओं में भी टोकन खपत में स्पष्ट अंतर है, जहां सबसे अधिक खपत सबसे कम खपत से 1.5 से 5 गुना अधिक है। यदि परीक्षण को 200 भाषाओं तक बढ़ाया जाए, तो यह अंतर और बढ़ जाएगा। एक AI मॉडल में, विभिन्न भाषाओं की टोकन खपत में अधिकतम 17 गुना का अंतर है।
एक अध्ययन में बताया गया है कि बैंगलोर की एक स्टार्टअप कंपनी प्रत्येक AI इनपुट और उत्तर प्राप्त करने पर ऑस्टिन के प्रतिद्वंद्वी की तुलना में अधिक लागत वहन कर सकती है। "टोकनाइज़ेशन टैक्स" की समस्या केवल लागत में वृद्धि तक सीमित नहीं है। जितने अधिक टोकन खपत होते हैं, AI प्रतिक्रिया उतनी ही धीमी होती है और प्रभावी ढंग से संसाधित किए जा सकने वाले संदर्भ की मात्रा कम होती है।

जहाँ कैलकुलेशन रिसोर्स और नेटवर्क कंडीशन्स पहले से ही सीमित हैं, वहाँ प्रभाव विशेष रूप से गंभीर है। टोकनाइजेशन में असमानता ने एआई इकोनॉमी में भाग लेने के अवसरों को भी सीमित कर दिया है।
भारत की पहली AI निवेश पर केंद्रित रिस्क कैपिटल फंड Activate AI के सह-संस्थापक प्रत्युष चौधरी ने बताया कि अंग्रेजी के अलावा अन्य भाषाओं का उपयोग करने पर, समान संदर्भ क्षमता में कम दस्तावेज और संवाद रिकॉर्ड शामिल हो सकते हैं, और AI द्वारा उत्तर उत्पन्न करना अधिक कठिन होता है।
चौधरी ने शिक्षण के उदाहरण के साथ समझाया: "शिक्षक को छात्रों द्वारा पहले किए गए गलतियों और जिन समझाइयों को उन्होंने स्वीकार किया है, उन्हें याद रखना होगा। यदि किसी भाषा का उपयोग किया जाता है, तो इन इतिहास के रिकॉर्ड्स जल्दी ही संदर्भ विंडो को भर देते हैं, जिससे अंततः शिक्षण की गुणवत्ता प्रभावित होती है।"
चौधरी का मानना है कि भाषा प्रसंस्करण की दक्षता को भी एआई उत्पादों की एक मूलभूत आवश्यकता के रूप में लिया जाना चाहिए, जैसे कि सटीकता, गति और विश्वसनीयता। "सभी भाषाओं को पूर्ण समानता प्रदान करना संभव नहीं हो सकता, लेकिन लंबे समय से बने रहने वाले विशाल अंतरों की तर्कसंगत व्याख्या की आवश्यकता है और सुधार की योजना बनाने की आवश्यकता है। मैं चाहता हूँ कि सभी प्रमुख एआई प्रयोगशालाएँ प्रत्येक भाषा के मूल्यांकन परिणाम प्रकाशित करें, जिसमें समान कठिनाई वाले कार्यों को विभिन्न भाषाओं में पूरा करने में कितना खर्च आता है, यह बताया जाए, और सबसे कमजोर भाषाओं के समर्थन में सुधार करने के लिए मापने योग्य प्रगति का वादा करें।"
IT होम ने रिपोर्ट से जाना कि इस समस्या को सुधारने का एक तरीका नींव के डेटा की गुणवत्ता में सुधार करना है।
हालांकि, आर्टिफिशियल इंटेलिजेंस लैंग्वेज फेयरनेस रिसर्च कंसोर्टियम ने पाया कि टोकन खपत को निर्धारित करने वाला केवल एक भाषा के उपयोगकर्ताओं की संख्या ही नहीं है, बल्कि किस लिपि का उपयोग किया जाता है, वह भी महत्वपूर्ण है।
उदाहरण के लिए, अस्तुरियाई भाषा के उपयोगकर्ताओं की संख्या कम है और इसे कॉमन क्रॉल डेटासेट में शामिल नहीं किया गया है, लेकिन लैटिन वर्णमाला इसे लाभ पहुंचाता है। इटालियन जैसी अन्य रोमान्स भाषाएँ डेटा में कवर की गई हैं, जिससे अस्तुरियाई भाषा को लाभ मिलता है।
माया रिसर्च के सीईओ डायमंट रेडी ने बताया कि वर्तमान में कई टोकनाइज़र अभी भी अंग्रेजी जैसी डेटा संसाधन समृद्ध भाषाओं के लिए अनुकूलित हैं, और मूल समस्या उच्च गुणवत्ता वाले डिजिटल डेटा की कमी है।
रेडी ने जोर देकर कहा कि प्रशिक्षण डेटा को बेहतर बनाना ही पर्याप्त नहीं है: "टोकन की कीमतें तेजी से गिर रही हैं, और शुल्क अंतर के कारण होने वाला सीधा प्रभाव धीरे-धीरे कम होता जाएगा। बेहतर बहुभाषी डेटा और सिंथेटिक डेटा से मॉडल की गुणवत्ता में सुधार हो सकता है। लेकिन विभिन्न भाषाओं के बीच टोकनाइज़ेशन के अंतर को वास्तव में कम करने के लिए, AI प्रयोगशालाओं को अगली पीढ़ी के टोकनाइज़र्स के डिज़ाइन में विशेष रूप से सुधार करने की आवश्यकता है, ताकि वे इन भाषाओं और लिपियों को बेहतर ढंग से संभाल सकें।"


