টেথার এআই সাম্প্রতিক সময়ে টার্বোকোয়ান্টকে ওপেন-সোর্স সফটওয়্যার হিসেবে প্রকাশ করেছে, যা বড় ভাষা মডেলের ইনফারেন্সের মেমোরি ফুটপ্রিন্টকে পাঁচগুণ পর্যন্ত কমিয়ে দেয়। এই প্রযুক্তিটি কী-ভ্যালু (KV) ক্যাশে নামক একটি নির্দিষ্ট বটলনেক লক্ষ্য করে, যা প্রকৃতপক্ষে ট্রান্সফরমার মডেলগুলির কথোপকথনের সময় প্রসঙ্গ ট্র্যাক রাখার জন্য ব্যবহৃত কার্যকরী মেমোরি।
টার্বোকোয়ান্ট বাস্তবে কী করে
টার্বোকোয়ান্টের পিছনের অ্যালগরিদম গুগল রিসার্চ থেকে উদ্ভূত হয়েছে, যা ২৪ মার্চ, ২০২৬-এ প্রাথমিক বিবরণ প্রকাশ করেছিল। টেথার এআই যা করেছে, তা হলো সেই গবেষণা পত্রটিকে ডেভেলপারদের দ্বারা উৎপাদনে বাস্তবায়নযোগ্য কিছুতে পরিণত করা। টেথারের রিলিজে একটি পূর্ণাঙ্গ কোয়ান্টাইজেশন পাইপলাইন, ফ্রেমওয়ার্ক অ্যাডাপ্টার, এবং ব্যাপক ডকুমেন্টেশন অন্তর্ভুক্ত রয়েছে।
কোয়ান্টাইজেশন হল একটি প্রযুক্তি যা নিউরাল নেটওয়ার্ক গণনায় ব্যবহৃত সংখ্যার সঠিকতা কমিয়ে দেয়। 16-বিট বা 32-বিট ফ্লোটিং পয়েন্ট সংখ্যা হিসাবে মানগুলি সংরক্ষণের পরিবর্তে, আপনি এগুলিকে 4-বিট বা এমনকি 2-বিট প্রতিনিধিত্বে সং压缩 করেন। টার্বোকোয়ান্ট এটি বিশেষভাবে KV ক্যাশের জন্য পরিচালনা করে।
কোনো মডেল পুনর্প্রশিক্ষণ বা ফাইন-টিউনিংয়ের প্রয়োজন নেই। ডেভেলপাররা শূন্য থেকে শুরু না করেই বিদ্যমান মডেল এবং বিদ্যমান ইনফারেন্স ফ্রেমওয়ার্কে টার্বোকোয়ান্ট প্রয়োগ করতে পারেন।
এই রিলিজটি QVAC SDK ভার্সন 0.12.0-এর অংশ হিসেবে আসে, যার মধ্যে টেক্সট-টু-ভিডিও জেনারেশন এবং রোবট নিয়ন্ত্রণের মতো নতুন ক্ষমতাগুলি অন্তর্ভুক্ত রয়েছে। QVAC হল Tether-এর একটি ব্যাপক প্ল্যাটফর্ম যা কনজুমার হার্ডওয়্যারে ডিসেন্ট্রালাইজড AI-কে সমর্থন করার উদ্দেশ্যে তৈরি করা হয়েছে।
একটি স্টেবলকয়েন কোম্পানি কেন এআই ইনফ্রাস্ট্রাকচার তৈরি করছে
টেথার তার USDT স্টেবলকয়েনের বাইরে আক্রমণাত্মকভাবে বিস্তার ঘটাচ্ছে, এবং এআই এর একটি সবচেয়ে বড় বিনিয়োগ। সিইও পাওলো আরদোইনো কোম্পানির এআই প্রচেষ্টাগুলিকে একটি নির্দিষ্ট থিসিসের চারপাশে স্থাপন করেছেন: উচ্চমানের ভাষা মডেলগুলি কেন্দ্রীয়কৃত ক্লাউড সেবাগুলির উপর নির্ভরশীল না হয়ে, স্থানীয়ভাবে ফোন এবং ল্যাপটপের মতো কনজুমার ডিভাইসে চলবে।
এই দৃষ্টিভঙ্গির জন্য মেমোরির সমস্যা হল মূল বাধা। কেবলমাত্র এর KV ক্যাশের জন্য 16 জিবি মেমোরির প্রয়োজন হলে, এটি বেশিরভাগ কনজিউমার ডিভাইসে ফিট হবে না। এটিকে 3.2 জিবিতে কমিয়ে দিলে হঠাৎ করেই গণিতটি কাজ করতে শুরু করে।
আর্ডোইনো বলেছেন যে টার্বোকোয়ান্ট ট্রান্সফরমার মডেলগুলির উপভোক্তা হার্ডওয়্যারে মেমোরির সীমাবদ্ধতা মোকাবেলা করে কার্যকরী স্থানীয় এআইকে বাস্তবতার দিকে নিয়ে আসে।
QVAC প্ল্যাটফর্মটি পূর্ববর্তী কিছু কোয়ান্টাইজেশন প্রযুক্তির উপর ভিত্তি করে তৈরি, যার মধ্যে রয়েছে PolarQuant এবং Quantized Johnson-Lindenstrauss। Tether-এর AI টিম বিভিন্ন কম্প্রেশন পদ্ধতি একসাথে ব্যবহার করেছে, যেগুলো দক্ষতার সমস্যার বিভিন্ন অংশকে লক্ষ্য করে, এবং TurboQuant হল সেই স্ট্যাকের সর্বশেষ স্তর।
এটি বিনিয়োগকারীদের জন্য কী অর্থ বহন করে
রিলিজের ওপেন-সোর্স প্রকৃতির কারণে যেকোনো ডেভেলপার কোডটি পাবেন, এটিকে তাদের ইনফারেন্স পাইপলাইনে একীভূত করবেন এবং মেমোরি সঞ্চয়ের সুবিধা তাত্ক্ষণিকভাবে পাবেন। এটি QVAC-এর চারপাশে বাস্তুতন্ত্র বাড়ানোর এবং Tether-এর প্ল্যাটফর্মকে ডিসেন্ট্রালাইজড এআই অ্যাপ্লিকেশনের ডিফল্ট টুলকিট হিসাবে অবস্থান দেওয়ার একটি কৌশলগত পদক্ষেপ।
গুগল রিসার্চ মূল অ্যালগরিদমটি প্রকাশ করেছে। গুগল নিজে বা অন্য যেকোনো ভালোভাবে সম্পদযুক্ত ল্যাবের নিজস্ব উৎপাদন বাস্তবায়ন প্রকাশ করতে কোনো বাধা নেই। একই SDK আপডেটে টেক্সট-টু-ভিডিও এবং রোবট নিয়ন্ত্রণ ফিচারগুলির অন্তর্ভুক্তি থেকে বোঝা যায় যে দলটি দ্রুত পুনরাবৃত্তি করছে।
স্বাধীন বেঞ্চমার্কগুলি কি 5x কম্প্রেশন দাবিটি বিভিন্ন মডেল আর্কিটেকচার এবং কনটেক্সট দৈর্ঘ্যের উপর প্রয়োগ করে কিনা তা পর্যবেক্ষণ করুন, কারণ কোয়ান্টাইজেশন প্রযুক্তি প্রায়শই দীর্ঘ কথোপকথন বা আরও জটিল যুক্তিসঙ্গত কাজের সাথে বাস্তব ব্যবহারে ক্ষতি পায়।