1M AI News-এর মনিটরিং অনুযায়ী, গুগল রিসার্চ কোয়ান্টাইজড কম্প্রেশন অ্যালগরিদম TurboQuant প্রকাশ করেছে, যা বড় ভাষা মডেলের KV ক্যাশ কমিয়ে 3 বিটে নামিয়ে আনে, যার ফলে মেমোরি ব্যবহার 6 গুণ কমে যায়, মডেল ট্রেনিং বা ফাইন-টিউনিংয়ের প্রয়োজন ছাড়াই, মডেলের সঠিকতা হারানো ছাড়া। 4 বিট মোডে, নভেডিয়া H100 GPU-এ 32 বিট অকোয়ান্টাইজড বেসলাইনের তুলনায় অ্যাটেনশন গণনার গতি সর্বোচ্চ 8 গুণ বৃদ্ধি পায়।
লংবেঞ্চ, নিডল ইন এ হেয়স্ট্যাক, জিরোস্ক্রলস এর মতো দীর্ঘ কনটেক্সট বেঞ্চমার্কে গেমা এবং মিস্ট্রাল মডেল ব্যবহার করে গবেষণা দল যাচাই করেছেন যে, টার্বোকোয়ান্ট সমস্ত পরীক্ষায় সর্বোত্তম পারফরম্যান্স অর্জন করেছে। এই অ্যালগরিদমটি দুটি উপ-অ্যালগরিদম দিয়ে গঠিত: পোলারকোয়ান্ট পোলার স্থানাঙ্ক রূপান্তরের মাধ্যমে প্রচলিত কোয়ান্টাইজেশন পদ্ধতির মেমোরি ওভারহেড দূর করে, এবং QJL শুধুমাত্র 1 বিট ব্যবহার করে অবশিষ্ট ত্রুটি সংশোধন করে।
এই গবেষণা গুগল রিসার্চের আমির জ্যান্ডিহ এবং ভাইস প্রেসিডেন্ট এবং গুগল ফেলো ভাহাব মিরক্রোনির নেতৃত্বে কোরিয়ার KAIST এবং নিউ ইয়র্ক ইউনিভার্সিটির সাথে সহযোগিতায় পরিচালিত হয়েছে এবং ICLR 2026-এ প্রকাশিত হবে। গুগল বলেছে যে এই প্রযুক্তির একটি প্রধান প্রয়োগ হল Gemini এর মতো মডেলগুলির KV ক্যাশে বোতলমুখের সমাধান।
গুগল রিসার্চ টার্বোকোয়ান্ট চালু করেছে: 3-বিট কোয়ান্টাইজেশন সহ কোনো সঠিকতা হ্রাস ছাড়া, ইনফারেন্সকে প্রায় 8x দ্রুত করেছে
KuCoinFlashশেয়ার
সারাংশ
গুগল রিসার্চ টার্বোকোয়ান্ট নামক একটি 3-বিট কোয়ান্টাইজেশন পদ্ধতি প্রকাশ করেছে, যা সঠিকতা হারানোর কোনো ক্ষতি ছাড়াই KV ক্যাশে মেমোরি ব্যবহার 6x কমিয়ে দেয়। NVIDIA H100 GPU-এ, 4-বিট অ্যাটেনশন কম্পিউটেশন 32-বিট মডেলের তুলনায় প্রায় 8x দ্রুত চলে। Gemma এবং Mistral-এর উপর LongBench, Needle In A Haystack, এবং ZeroSCROLLS-এর মাধ্যমে পরীক্ষা করে দেখা গেছে যে এই পদ্ধতি শীর্ষ ফলাফল দিয়েছে। আমির জ্যান্ডিয়হ এবং ভাহাব মিরক্রনির নেতৃত্বে KAIST এবং NYU-এর সহযোগিতায় এই পেপারটি ICLR 2026-এ প্রকাশিত হবে। অন-চেইন ডেটা দেখায় যে দক্ষতা বৃদ্ধির কারণে অল্টকয়েনগুলিতে আগ্রহ বাড়ছে।
উৎস:আসল দেখান
দাবিত্যাগ: এই পৃষ্ঠার তথ্য তৃতীয় পক্ষের কাছ থেকে প্রাপ্ত হতে পারে এবং অগত্যা KuCoin এর মতামত বা মতামত প্রতিফলিত করে না। এই বিষয়বস্তু শুধুমাত্র সাধারণ তথ্যগত উদ্দেশ্যে প্রদান করা হয়, কোন ধরনের প্রতিনিধিত্ব বা ওয়ারেন্টি ছাড়াই, বা এটিকে আর্থিক বা বিনিয়োগ পরামর্শ হিসাবে বোঝানো হবে না। KuCoin কোনো ত্রুটি বা বাদ পড়ার জন্য বা এই তথ্য ব্যবহারের ফলে যে কোনো ফলাফলের জন্য দায়ী থাকবে না।
ডিজিটাল সম্পদে বিনিয়োগ ঝুঁকিপূর্ণ হতে পারে। আপনার নিজের আর্থিক পরিস্থিতির উপর ভিত্তি করে একটি পণ্যের ঝুঁকি এবং আপনার ঝুঁকি সহনশীলতা সাবধানে মূল্যায়ন করুন। আরও তথ্যের জন্য, অনুগ্রহ করে আমাদের ব্যবহারের শর্তাবলী এবং ঝুঁকি প্রকাশ পড়ুন।