একটি সার্চ সিস্টেমকে শেখানোর সবচেয়ে কঠিন বিষয় হলো নিয়ন্ত্রণ। সাধারণত অধিকাংশ এআই এজেন্ট তথ্য খুঁজতে গিয়ে টোকেন সীমা বা টাইমআউট পর্যন্ত কনটেক্সট টেনে আনে। ডেটাব্রিক্স এমন একটি এজেন্ট প্রশিক্ষণ দেয়ার সিদ্ধান্ত নেয় যা বাস্তবিকই শেষ হলেই থেমে যায়।
ফলাফল হল KARL, যা শক্তিশালী শিক্ষা ভিত্তিক একটি রিট্রিভাল-অগমেন্টেড জেনারেশন এজেন্ট, যা Claude Opus 4.6-এর পারফরম্যান্সের সমান কাজ করে যখন এটি 33% কম খরচে এবং 47% কম ল্যাটেন্সির সাথে চলে।
একটি এজেন্টকে থামানো শেখানো
কার্লের পিছনে মূল ধারণা হলো অনুসন্ধানের অক্ষমতা সাধারণত সময়সীমার সমস্যা। প্রচলিত আরএজি সিস্টেমগুলি তাদের প্রয়োজনীয়তার চেয়ে বেশি প্রসঙ্গ পুনরুদ্ধার করে, অপ্রয়োজনীয় তথ্য প্রক্রিয়াকরণ করে এবং এটি করার জন্য কম্পিউট ব্যয় করে। কার্ল শক্তিশালী শিক্ষা ব্যবহার করে চিনতে পারে যখন অতিরিক্ত পুনরুদ্ধার মূল্য যোগ করা বন্ধ করে দেয়, তখন ডিফল্টভাবে অনুসন্ধান চালিয়ে যাওয়ার পরিবর্তে অনুসন্ধান বন্ধ করে দেয়।
ডেটাব্রিক্স এটিকে কনটেক্সট কম্প্রেশনের সাথে জুড়ে দেয়, যা এজেন্টকে আরও ফেচ করার সিদ্ধান্ত নেওয়ার আগে যা ইতিমধ্যে পেয়েছে তা সংক্ষিপ্ত করতে দেয়।
এজেন্ট ব্রিকস কী যোগ করে
কার্ল ডেটাব্রিক্স দ্বারা সেপ্টেম্বর ২০২৬-এ চালু করা একটি বড় ফ্রেমওয়ার্কের মধ্যে অবস্থিত, যার নাম এজেন্ট ব্রিক্স, যা স্বয়ংক্রিয়ভাবে অপ্টিমাইজড, ডোমেইন-বিশেষিত এজেন্ট তৈরির জন্য একটি প্ল্যাটফর্ম। এর ধারণা হলো, প্রতিষ্ঠানগুলিকে তাদের প্রতিটি মডেলকে হাতে হাতে অপ্টিমাইজ করার দরকার নেই। এজেন্ট ব্রিক্স স্বয়ংক্রিয়ভাবে সেই অপ্টিমাইজেশনটি পরিচালনা করে, এবং সাধারণ ভাষায় সংজ্ঞায়িত নির্দিষ্ট কাজের ধরনগুলির সাথে এজেন্টের আচরণকে খাপ খাইয়ে নেয়।
লঞ্চের পর থেকে প্ল্যাটফর্মে ১০০,০০০-এর বেশি এজেন্ট তৈরি করা হয়েছে। এই ফ্রেমওয়ার্ক Claude এবং GPT ভ্যারিয়েন্টসসহ প্রধান মডেল প্রোভাইডারদের সমর্থন করে, যার গভর্ন্যান্স Databricks-এর Unity Catalog-এর মাধ্যমে পরিচালিত হয়।
ডেটাব্রিক্স তার এআই সার্চ পণ্যের মধ্যে পুনর্র্যাঙ্কিং ক্ষমতা যোগ করেছে। পুনর্র্যাঙ্কিং হল প্রাথমিক সেটের প্রাপ্ত দলিলগুলিকে নেওয়া এবং ভাষা মডেলের দিকে পাঠানোর আগে সেগুলির প্রাসঙ্গিকতার জন্য পুনর্স্কোরিং করা। এন্টারপ্রাইজ বেঞ্চমার্কে সঠিকতার বৃদ্ধি গড়ে ১৫ শতাংশ।
সীমান্ত মূল্য ছাড়াই সীমান্তে সঠিকতা
ডেটাব্রিক্স যে বেঞ্চমার্ক সংখ্যাগুলি অভ্যন্তরীণভাবে উল্লেখ করছে, তাতে দেখা যায় যে সমান্তরাল চিন্তা এবং মাল্টি-এলএলএম ডিজাইনের মতো বিশেষায়িত এজেন্ট পদ্ধতি ব্যবহার করে কিছু কাজের ধরনে সঠিকতা 32% থেকে 90% এর বেশি পর্যন্ত উন্নতি পায়।
রিট্রিভাল এবং যুক্তিসঙ্গত কাজে Claude Opus 4.6-এর সাথে মিল রেখে এর খরচ এক তৃতীয়াংশ কমিয়ে দিয়ে Databricks কে এন্টারপ্রাইজ মার্কেটে একটি আকর্ষণীয় অবস্থানে স্থাপন করেছে। কোম্পানিটি একটি ফাউন্ডেশন মডেল বিক্রি করছে না। এটি ফাউন্ডেশন মডেলগুলিকে স্কেলে ব্যবহারযোগ্য করে তোলার জন্য ইনফ্রাস্ট্রাকচার বিক্রি করছে।