র্যাম্প ল্যাবস নতুন মাল্টি-এজেন্ট মেমোরি শেয়ারিং সমাধান প্রস্তাব করেছে, টোকেন ব্যবহার ৬৫% পর্যন্ত কমিয়েছে

ME সংবাদ, ১১ এপ্রিল (UTC+8), এআই ইনফ্রাস্ট্রাকচার কোম্পানি র্যাম্প ল্যাবস একটি গবেষণা প্রকাশ করেছে "ল্যাটেন্ট ব্রিফিং", যা বড় মডেলের KV ক্যাশ সংকুচিত করে মাল্টি-এজেন্ট সিস্টেমের মধ্যে দক্ষ মেমোরি শেয়ারিং সম্ভব করেছে, যা সঠিকতা হারানোর ঝুঁকি ছাড়াই টোকেন খরচ ব্যাপকভাবে কমিয়েছে। প্রধান মাল্টি-এজেন্ট আর্কিটেকচারগুলিতে, অর্কেস্ট্রেটর (Orchestrator) কাজগুলি বিভক্ত করে পুনরাবৃত্তি করে ওয়ার্কার (Worker) মডেলগুলিকে কল করে, যখন ইনফারেন্স চেইনটি বাড়তে থাকে, টোকেন ব্যবহার সূচকীয়ভাবে বৃদ্ধি পায়। "ল্যাটেন্ট ব্রিফিং"-এর মূল ধারণা হল: অনুধাবন-পদ্ধতির (attention mechanism) সহায়তায় প্রসঙ্গের সত্যিকারের গুরুত্বপূর্ণ অংশগুলি識别, এবং ধীরগতির LLM-সারসংক্ষেপ বাঅস্থির RAG-অনুসন্ধানের পরিবর্তে, প্রতিনিধিত্বসহজকরণ (representation) স্তরেই অপ্রয়োজনীয় তথ্যগুলি সরিয়ে ফেলা। LongBench v2-এর বেঞ্চমার্কটিতে, এইপদ্ধতিরপ্রদর্শনঅসাধারণ:ওয়ার্কারমডেলগুলিরটোকেনখরচ65%কমেছে,মধ্যমদৈর্ঘ্যের(32kথেকে100k)দলিলগুলিতেটোকেনসঞ্চয়েরমধ্যমমান49%এবংসমগ্রসঠিকতা2023-এবিলিনএপিআই-এবৃদ্ধিপায়।প্রতিটিসংকোচনেঅতিরিক্তসময়কেবলপ্রায়1.7সেকেন্ড,যামূলঅ্যালগরিদমেরতুলনায়প্রায়20গুণদ্রুত।পরীক্ষাগুলিতেClaudeSonnet4-কেঅর্কেস্ট্রেটরহিসাবেএবংQwen3-14B-কেওয়ার্কারমডেলহিসাবেব্যবহারকরাহয়েছিল,যাশিক্ষাগতপত্র,আইনিদলিল,উপন্যাসএবংসরকারিরিপোর্টসহবিভিন্নদলিলপ্রকারগুলিকেঅন্তর্ভুক্তকরে।গবেষণাৎপন্নহয়েছিলযে,অপটিমালসংকোচনথ্‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ (Translation truncated due to system error — please retry.)