টেদারের এআই গবেষণা গোষ্ঠী একটি উৎপাদন-প্রস্তুত টার্বোকোয়ান্ট বাস্তবায়ন ওপেন-সোর্স করেছে, যা জিওগল রিসার্চের এআই মেমোরির প্রয়োজনীয়তা উল্লেখযোগ্যভাবে কমানোর জন্য ডিজাইন করা হয়েছে, একটি সোমবার প্রেস রিলিজ অনুযায়ী।
এই প্রযুক্তিটি এখন QVAC Fabric-এর অংশ, যা Tether-এর স্থানীয় AI ইঞ্জিন, এবং এটি একটি সম্পূর্ণ কোয়ান্টাইজেশন পাইপলাইন, ফ্রেমওয়ার্ক ইন্টিগ্রেশন, ডকুমেন্টেশন এবং বাস্তব-জগতের ব্যবহারের জন্য ডিপ্লয়মেন্ট প্রোফাইল অন্তর্ভুক্ত করে।
এই রিলিজটি স্থানীয় ডিভাইসে উন্নত এআই চালানোর জন্য সবচেয়ে বড় বাধাগুলির একটি হিসাবে মেমোরি খরচকে লক্ষ্য করে। এআই সহায়কগুলি দীর্ঘ কথোপকথন, বড় ফাইল এবং জটিলতর কাজগুলি প্রক্রিয়া করার সময় তাদের KV ক্যাশে বাড়ে এবং এটি উল্লেখযোগ্য হার্ডওয়্যার সম্পদের প্রয়োজন হতে পারে।
গবেষকদের মতে, টার্বোকোয়ান্ট মডেলের কর্মক্ষমতা বজায় রেখে সেই মেমোরি চাহিদা প্রায় 5 গুণ কমিয়ে দেয়, যার ফলে ল্যাপটপ, ফোন, কনজিউমার GPU এবং এজ ডিভাইসগুলিতে ক্ষমতাশালী এআই সিস্টেম চালানো সহজ হয়ে যায়।
“গুগলের গবেষণা দেখিয়েছে যে এআই মেমোরি অধিকাংশ মানুষ ধারণা করেছিল তার চেয়ে অনেক বেশি দক্ষতার সাথে সংকুচিত করা যায়। আমাদের কাজটি এই বিপ্লবটিকে উন্নয়নকারীদের, স্টার্টআপগুলির এবং ব্যবহারকারীদের বাস্তবে ব্যবহার করার জন্য উৎপাদন সফটওয়্যারে নিয়ে আসে,” টেথারের সিইও পাওলো আরডোইনো প্রকাশনা সম্পর্কে মন্তব্য করেন।
আর্ডোইনোর মতে, এআই টুলগুলি দীর্ঘ দলিল প্রক্রিয়াকরণ, প্রকল্পের প্রেক্ষাপট ধরে রাখা, সফটওয়্যার বিকাশ সমর্থন এবং প্রতিটি কাজকে ক্লাউড ইনফ্রাস্ট্রাকচারের মধ্যে দিয়ে পাঠানোর পরিবর্তে স্থানীয়ভাবে ব্যক্তিগত ডেটা সহ কাজ করতে সক্ষম হওয়া উচিত। তিনি বলেন যে টার্বোকোয়ান্ট স্থানীয় এআই সিস্টেমগুলিকে বড় মেমোরি ক্ষমতা এবং প্রেক্ষাপটজনিত সচেতনতা প্রদান করে এটি সম্ভব করে তোলে।
“যদি দীর্ঘ প্রেক্ষাপট এআই শুধুমাত্র সবচেয়ে বড় ডেটা সেন্টারগুলিতেই কাজ করে, তাহলে এআই তৈরি হবে যার সবচেয়ে বেশি হার্ডওয়্যার আছে, তাদের দ্বারা। টার্বোকোয়ান্ট স্থানীয় এআইয়ের ক্ষমতা পরিবর্তন করে মেমোরি কম দেয়,” তিনি যোগ করলেন।
টেদার মনে করে যে এই প্রযুক্তিটি স্থানীয় হার্ডওয়্যারে দীর্ঘতর কনটেক্সট উইন্ডো এবং উন্নত পারফরম্যান্স সক্ষম করে বেশি এআই ওয়ার্কলোডকে কেন্দ্রীয় ক্লাউড সেবাগুলির থেকে সরিয়ে নিতে পারে।
QVAC SDK 0.12.0-এ অন্তর্ভুক্ত, এই রিলিজটি ব্যক্তিগত ডিভাইস, স্থানীয় নেটওয়ার্ক এবং ডিসেন্ট্রালাইজড ইনফ্রাস্ট্রাকচারের মাধ্যমে ব্যবহারকারীদের কাছাকাছি কাজ করা AI সিস্টেম তৈরির কোম্পানির লক্ষ্যকে সমর্থন করে।