আইটি হোম, অক্টোবর ৩০, ব্যবহারকারীদের সংখ্যা কম ভাষাগুলির ব্যবহারকারীরা এআই সেবা ব্যবহার করার সময় ইংরেজি এবং অন্যান্য প্রধান ভাষার ব্যবহারকারীদের তুলনায় বেশি খরচ করতে পারেন।
28 তারিখে, বিদেশি মিডিয়া Rest of World-এর এক প্রতিবেদন অনুযায়ী, আগামী মাসে কৃত্রিম বুদ্ধিমত্তা ভাষা সমতা গবেষণা কনসোর্টিয়াম প্রকাশিত একটি গবেষণায় পাওয়া গেছে যে, AI মডেলগুলি বিভিন্ন ভাষা প্রক্রিয়াকরণের সময় টোকেনের (token) পরিমাণে ব্যাপক পার্থক্য দেখায়। টোকেন হল AI মডেলগুলির টেক্সট, ছবি বা অডিও প্রক্রিয়াকরণের মৌলিক একক, যা টোকেনাইজার দ্বারা টেক্সট, ছবি বা অডিওকে বিভক্ত করে তৈরি হয়। গবেষকদের মতে, এইভাবে বিভিন্ন ভাষার জন্য উৎপন্ন অতিরিক্ত খরচকে “টোকেনাইজার ট্যাক্স” হিসেবে অদৃশ্যভাবে চিহ্নিত করা হয়, যা বিশেষভাবে ওয়েবসাইটের কনটেন্টের সংখ্যা কম ভাষাগুলির জন্য সমস্যা।
অধ্যয়নে দেখা গেছে যে ইন্টারনেটের সবচেয়ে বেশি ব্যবহৃত 20টি ভাষার মধ্যেও টোকেন খরচের মধ্যে উল্লেখযোগ্য পার্থক্য রয়েছে, যেখানে সর্বোচ্চ খরচ সর্বনিম্ন খরচের 1.5 থেকে 5 গুণ। যদি পরীক্ষার পরিসর 200টি ভাষায় বাড়ানো হয়, তবে এই পার্থক্য আরও বাড়বে। একটি AI মডেলে, বিভিন্ন ভাষার মধ্যে টোকেন খরচের সর্বোচ্চ পার্থক্য 17 গুণ।
একটি গবেষণা প্রতিবেদনে বলা হয়েছে যে, বেঙ্গালুরুর একটি স্টার্টআপ প্রতিবার AI-কে নির্দেশ দিয়ে উত্তর পাওয়ার সময় অস্টিনের প্রতিদ্বন্দ্বীদের তুলনায় বেশি খরচ করতে পারে। "টোকেনাইজার ট্যাক্স" শুধুমাত্র খরচ বৃদ্ধির সমস্যা নয়। যত বেশি টোকেন ব্যবহার হয়, AI-এর প্রতিক্রিয়া তত ধীরে হয়, এবং প্রভাবকরভাবে প্রক্রিয়াকরণযোগ্য কনটেক্সটের পরিমাণও কমে যায়।
যে অঞ্চলগুলিতে গণনা সম্পদ এবং নেটওয়ার্ক অবস্থা প্রাথমিকভাবে সীমিত, সেখানে প্রভাব বিশেষভাবে গুরুতর। টোকেনাইজেশনের অসমতা এছাড়াও মানুষকে এআই অর্থনীতিতে অংশগ্রহণের সুযোগ সীমিত করে।
ভারতের প্রথম এআই বিনিয়োগে ফোকাস করা রিস্ক ক্যাপিটাল ফান্ড এক্টিভেট এআই-এর সহ-প্রতিষ্ঠাতা প্রতিযুষ চৌধুরী বলেন, অ-ইংরেজি ভাষা ব্যবহার করলে, একই কনটেক্সট ক্যাপাসিটি দিয়ে কম ডকুমেন্ট এবং ডায়ালগ হিস্ট্রি ধারণ করা যায়, এবং এআই দ্বারা উত্তর তৈরি করা আরও কঠিন হয়।
চৌধুরী শিক্ষার উদাহরণ দিয়ে ব্যাখ্যা করেন: "শিক্ষকদের শিক্ষার্থীদের আগের ভুলগুলি এবং যে ব্যাখ্যাগুলি তারা গ্রহণ করেছে তা মনে রাখতে হবে। যদি কোনো ভাষা ব্যবহার করলে এই ইতিহাসগুলি দ্রুত কনটেক্সট উইন্ডোটি পূরণ করে দেয়, তাহলে শেষপর্যন্ত শিক্ষার মানও প্রভাবিত হবে।"
চৌধুরী মনে করেন, ভাষা প্রক্রিয়াকরণের দক্ষতা হওয়া উচিত এআই পণ্যের একটি মৌলিক প্রয়োজনীয়তা, যেমন সঠিকতা, গতি এবং বিশ্বস্ততা। "সমস্ত ভাষাকে সম্পূর্ণ সমান মর্যাদা দেওয়ার দাবি সম্ভবত অবাস্তব, কিন্তু দীর্ঘদিন ধরে বিদ্যমান বিশাল ব্যবধানের জন্য যুক্তিসঙ্গত ব্যাখ্যা এবং উন্নতির পরিকল্পনা প্রয়োজন। আমি চাই যে সমস্ত প্রধান এআই পরীক্ষাগার বিভিন্ন ভাষায় একই কঠিনতার কাজগুলি সম্পন্ন করতে কতটা খরচ হয়, তা প্রকাশ করুক এবং সবচেয়ে দুর্বল ভাষাগুলির সমর্থন উন্নতির জন্য পরিমাপযোগ্য অগ্রগতির প্রতিশ্রুতি দিক।"
আইটি হোম এর প্রতিবেদন অনুযায়ী, এই সমস্যার সমাধানের একটি উপায় হল ভিত্তির ডেটার গুণগত মান বাড়ানো।
তবে, কৃত্রিম বুদ্ধিমত্তা ভাষা সমতা গবেষণা কনসোর্টিয়াম পাওয়া গেছে যে, টোকেন খরচের পরিমাণ নির্ধারণ করে শুধুমাত্র একটি ভাষার ব্যবহারকারীর সংখ্যা নয়, কোন লিপি ব্যবহার করা হচ্ছে তাও গুরুত্বপূর্ণ।
উদাহরণস্বরূপ, অ্যাস্টুরিয়ান ভাষার ব্যবহারকারীর সংখ্যা কম, এবং কমন ক্রল ডেটাসেটে এটি অন্তর্ভুক্ত নেই, তবে ল্যাটিন অক্ষর এটিকে সুবিধা দেয়। ইতালিয়ানের মতো অন্যান্য রোমান্স পরিবারের ভাষাগুলি ডেটাতে কভার করা হয়েছে, যা অ্যাস্টুরিয়ানকেও সহায়তা করে।
মায়া রিসার্চের সিইও ডিম্যান্ট রেডি বলেন, বর্তমানে অনেক টোকেনাইজার এখনও ইংরেজি ইত্যাদি ডেটা সমৃদ্ধ ভাষাগুলিকে কেন্দ্র করে অপ্টিমাইজ করা হয়, মূল সমস্যা হল উচ্চ মানের ডিজিটালাইজড ডেটার অভাব।
রেডি বলেন, প্রশিক্ষণ ডেটা উন্নত করাই যথেষ্ট নয়: "টোকেনের মূল্য দ্রুত কমে যাচ্ছে, ফির পার্থক্যের প্রত্যক্ষ প্রভাব ধীরে ধীরে কমে যাবে। ভালো বহুভাষিক এবং সিনথেটিক ডেটা মডেলের গুণগত মান বাড়াতেও সহায়তা করবে। কিন্তু বিভিন্ন ভাষার মধ্যে টোকেনাইজেশনের ব্যবধান প্রকৃতপক্ষে কমাতে, AI ল্যাবগুলিকে এখনও পরবর্তী প্রজন্মের টোকেনাইজারগুলির ডিজাইনকে বিশেষভাবে উন্নত করতে হবে, যাতে এই ভাষা এবং লিপির সাথে ভালোভাবে কাজ করতে পারে।"