ایٹ ہوم کی 30 اکتوبر کی خبر کے مطابق، کم استعمال ہونے والی زبانوں کے صارفین، جب AI سروسز کا استعمال کرتے ہیں، تو انگریزی اور دیگر مقبول زبانوں کے صارفین کے مقابلے میں زیادہ فیس ادا کر سکتے ہیں۔
28 کو مقامی وقت کے مطابق، خارجی میڈیا ریسٹ آف ورلڈ کے مطابق، مصنوعی ذہانت کی زبان کی برابری تحقیق کے اتحاد نے پچھلے ماہ ایک تحقیق جاری کی جس میں پایا گیا کہ AI ماڈلز مختلف زبانوں کو سنبھالنے میں Token (ٹوکن) کی تعداد میں بہت بڑا فرق ہو سکتا ہے۔ ٹوکن AI ماڈلز کے لیے متن وغیرہ کے ڈیٹا کو سنبھالنے کی بنیادی اکائی ہے جو ٹوکنائزیشن ٹولز کے ذریعے متن، تصاویر یا آڈیو کو تقسیم کیا جاتا ہے۔ تحقیق کرنے والوں نے اس وجہ سے پیدا ہونے والے اضافی اخراجات کو "ٹوکنائزیشن ٹیکس" کہا ہے، جس سے کم ویب مواد والی زبانیں خاص طور پر متاثر ہوتی ہیں۔
مطالعات سے پتہ چلتا ہے کہ حتیٰ کہ انٹرنیٹ پر سب سے زیادہ استعمال ہونے والی 20 زبانوں میں بھی ٹوکن کی استعمال کی مقدار میں واضح فرق ہے، جس میں سب سے زیادہ استعمال والی زبان کا ٹوکن استعمال سب سے کم استعمال والی زبان کا 1.5 سے 5 گنا ہوتا ہے۔ اگر ٹیسٹنگ کو 200 زبانوں تک وسعت دی جائے تو یہ فرق مزید بڑھ جائے گا۔ ایک AI ماڈل میں، مختلف زبانوں کے درمیان ٹوکن کی استعمال کی مقدار میں زیادہ سے زیادہ 17 گنا کا فرق پایا گیا۔
ایک رپورٹ کے مطابق، بنگلور کی ایک اسٹارٹ اپ ہر بار AI کو ہدایت دینے اور جواب حاصل کرنے پر آسٹن کے مقابلہ کرنے والوں کے مقابلے میں زیادہ لاگت اٹھاتی ہے۔ "ٹوکنائزیشن ٹیک" کی وجہ سے صرف اضافی اخراجات ہی نہیں بلکہ زیادہ ٹوکنز کے استعمال سے AI کا جواب دینا سست ہو جاتا ہے اور اس کے ذریعے مؤثر طریقے سے سنبھالا جانے والا سیاق و سباق کم ہو جاتا ہے۔
جہاں کمپیوٹنگ وسائل اور نیٹ ورک کی حالتیں اصل میں محدود ہیں، وہاں اس کا خاص طور پر اثر پڑا ہے۔ تقسیم کے ناانصافی نے لوگوں کو AI معیشت میں شرکت کے مواقع سے محروم کر دیا ہے۔
ہندوستان کی پہلی AI سرمایہ کاری پر مبنی وینچر کیپ فنڈ Activate AI کے مشترکہ بانی پراتیوش چودھری کا کہنا ہے کہ غیر انگریزی زبانوں کا استعمال کرتے ہوئے، ایک جیسے سیاق و سباق کے حجم میں کم دستاویزات اور مکالمات کے ریکارڈز فٹ ہوتے ہیں، اور AI کے جوابات پیدا کرنا زیادہ مشکل ہوتا ہے۔
چودھری نے تدریس کے مثال کے ساتھ وضاحت کی: "اساتذہ کو طلباء کے پہلے کیے گئے غلطیوں اور جو تشریحات انہیں دی گئیں، ان کو یاد رکھنا چاہیے۔ اگر کسی زبان کا استعمال کیا جائے تو، یہ تاریخی ریکارڈ جلد ہی کنٹیکس ونڈو کو بھر دیتے ہیں اور آخرکار تدریس کی معیار بھی متاثر ہوتا ہے۔"
چودھری کا خیال ہے کہ زبان کی معالجہ کی کارکردگی کو AI پروڈکٹس کی بنیادی ضرورت کے طور پر درستگی، رفتار اور قابلیت کے ساتھ لیا جانا چاہیے۔ "تمام زبانوں کو مکمل مساوات کا درجہ دینا شاید غیر عملی ہو سکتا ہے، لیکن طویل عرصے سے قائم بڑے فرق کی وضاحت ضروری ہے اور بہتری کا منصوبہ بنایا جانا چاہیے۔ میں چاہتا ہوں کہ تمام بڑے AI لیبارٹریز اپنے مختلف زبانوں کے ایوانات شائع کریں، جس میں بتایا جائے کہ ایک جیسی مشکل کے کاموں کو مختلف زبانوں میں مکمل کرنے میں الگ الگ لاگت کتنی آتی ہے، اور سب سے کمزور زبانوں کی حمایت میں قابل قیاس ترقی حاصل کرنے کا عہد کریں۔"
ایٹ ہوم سے معلوم ہوا کہ اس مسئلے کو بہتر بنانے کا ایک طریقہ بنیادی ڈیٹا کی معیار میں اضافہ کرنا ہے۔
تاہم، AI زبانی انصاف تحقیقی کنسرشیم نے پایا کہ ٹوکن کے استعمال کا فیصلہ صرف ایک زبان کے استعمال کرنے والوں کی تعداد نہیں بلکہ استعمال کی جانے والی لکھائی بھی اہم ہے۔
مثلاً، اسٹوریائی زبان کے صرف کم استعمال کنندگان ہیں اور یہ عام کرال کے ڈیٹا سیٹ میں شامل نہیں ہے، لیکن لاطینی حروف کی وجہ سے اسے فائدہ ہوا۔ اطالوی جیسی دیگر رومانوی خاندان کی زبانیں ڈیٹا میں شامل ہیں، جس سے اسٹوریائی زبان کو بھی فائدہ ہوا۔
مایا ریسرچ کے سی ای او ڈیمنٹ ریڈی نے اشارہ کیا کہ موجودہ بہت سارے ٹوکنائزروں کو ابھی بھی صرف انگریزی جیسی زبانوں کے لیے بہتر بنایا گیا ہے، اور بنیادی مسئلہ اعلی معیار کے ڈیجیٹل ڈیٹا کی کمی ہے۔
ریڈی نے زور دیا کہ تربیت کے ڈیٹا کو بہتر بنانا کافی نہیں ہے: "ٹوکن کی قیمتیں جلدی گر رہی ہیں، اور فیس کے فرق کا ب без تاثر تدریجاً کم ہو جائے گا۔ بہتر بہت زبانوں کا ڈیٹا اور مصنوعی ڈیٹا بھی ماڈل کی معیار میں اضافہ کرنے میں مدد کرے گا۔ لیکن مختلف زبانوں کے درمیان ٹوکنائزیشن کے فرق کو حقیقی طور پر کم کرنے کے لیے، AI لیبارٹریز کو اگلی نسل کے ٹوکنائزروں کے ڈیزائن میں خاص طور پر بہتری لانے کی ضرورت ہے تاکہ وہ ان زبانوں اور حروف کو بہتر طریقے سے سنبھال سکیں۔"