হুয়াওয়ে ব্যক্তিগত সহায়ক কাজে এআই এজেন্টগুলি পরীক্ষার জন্য ক্লক-অ্যানিথিং বেঞ্চমার্ক চালু করেছে

এআই হাইপ সাইকেলের জন্য একটি বিনয়ী সংখ্যা: বিশ্বের সবচেয়ে উন্নত ভাষা মডেলগুলির মধ্যে একটি হল GPT-5.5, যা একটি বাস্তবসম্মত ডিজিটাল পরিবেশে সবসময় চালু ব্যক্তিগত সহায়ক হিসাবে কাজ করার জন্য শুধুমাত্র 34.5% স্কোর করেছে। Claude Opus 4.7 আরও খারাপভাবে 31.8% স্কোর করেছে।

এই ফলাফলগুলি Claw-Anything থেকে এসেছে, যা হুয়াওয়ে গবেষকদের দ্বারা বেইজিং ইনস্টিটিউট অফ টেকনোলজি এবং পেকিং বিশ্ববিদ্যালয়ের সহযোগিতায় প্রকাশিত একটি নতুন বেঞ্চমার্ক। ২০২৬ সালের ২৫ মে প্রকাশিত এই পেপারটি শুধুমাত্র পরীক্ষা করে না যে AI কি প্রশ্নের উত্তর দিতে পারে। এটি পরীক্ষা করে যে AI কি আসলেই আপনার ডিজিটাল জীবন চালাতে পারে।

বেঞ্চমার্কটি একটি সম্পূর্ণ ডিজিটাল জীবনকে সিমুলেট করে, তারপর এআই সহায়কদের দীর্ঘ-সময়কালীন ইভেন্ট স্ট্রিম এবং একাধিক পরস্পর নির্ভরশীল ব্যাকএন্ড সার্ভিসের মধ্যে এটি পরিচালনা করতে বলে। এআইকে একটি ইমেইল সারাংশ দিতে বলার পরিবর্তে, আপনি এটিকে আপনার ইনবক্স, ক্যালেন্ডার, মেসেজিং অ্যাপস এবং ফাইল সিস্টেমগুলি একসাথে মনিটর করতে এবং নির্দেশ না দিয়েই উপযুক্ত কাজগুলি নিতে বলছেন।

জটিলতা উল্লেখযোগ্য। কাজগুলির গড়ে 10.1টি পরস্পর নির্ভরশীল সেবা জড়িত, কিছু পরিস্থিতিতে এটি 18টি পর্যন্ত পৌঁছায়। বেঞ্চমার্কে 200টি মানব-যাচাইকৃত কাজের পরিবেশ রয়েছে, যার প্রতিটি পরিবেশের গড়ে 191.7k কনটেক্সট শব্দ রয়েছে।

বেঞ্চমার্কটি বিভিন্ন ডিভাইসে গ্রাফিকাল ইউজার ইন্টারফেস এবং কমান্ড লাইন ইন্টারফেসের মধ্যে মিথস্ক্রিয়া মূল্যায়ন করে। এটি প্রগতিশীল আচরণও পরীক্ষা করে: আপনি জিজ্ঞাসা করার আগেই AI কি বুঝতে পারে যে কিছু করার দরকার?

গবেষণা দল একটি স্বয়ংক্রিয় পাইপলাইন তৈরি করেছে যা এই জটিল সহায়ক কাজগুলির উপর এআই মডেলগুলি ফাইন-টিউন করার জন্য 2,000টি প্রশিক্ষণ পরিবেশ তৈরি করেছে। Qwen3.5-27B, একটি ছোট ওপেন-সোর্স মডেল, এই পরিবেশগুলি থেকে সফল কাজের ট্রাজেক্টরিগুলির উপর ফাইন-টিউন করার পরে 23.7% পারফরম্যান্স উন্নতি দেখিয়েছে।

OpenClaw বাস্তুতন্ত্রের মধ্যে সদৃশ বহু-পদক্ষেপের ব্যাবহারিক কাজ পরীক্ষা করা ClawBench এবং WildClawBench-এ শীর্ষ AI মডেলগুলি 33% থেকে 62% এর মধ্যে স্কোর করে।

GPT-5.5-এর 34.5% পাস রেট বিশেষভাবে উল্লেখযোগ্য, কারণ অনেক ক্রিপ্টো AI প্রকল্প ওপেনএআইয়ের মডেলের উপর ভিত্তি করে তৈরি করা হয়। Qwen3.5-27B-এর সাথে ফাইন-টিউনিংয়ের ফলাফলগুলি বোঝায় যে, ডোমেইন-বিশেষ সফল ট্রাজেক্টরির উপর বিশেষায়িত প্রশিক্ষণ পারফরম্যান্সকে অর্থপূর্ণভাবে উন্নত করতে পারে। এর অর্থ হলো, সবচেয়ে বেশি সম্ভাবনা রয়েছে যে বাস্তব অন-চেইন ইন্টারঅ্যাকশনগুলির থেকে উচ্চমানের প্রশিক্ষণ ডেটা সংগ্রহে ব্যাপকভাবে বিনিয়োগকারী ক্রিপ্টো AI প্রকল্পগুলিই বাস্তব মূল্য প্রদান করবে।

ওপেন-সোর্স এআই বেঞ্চমার্কিং-এ হুয়াওয়ের অংশগ্রহণ, পাশাপাশি ব্যাপক ওপেনক্লস ফ্রেমওয়ার্কের সাথে, বিশ্বব্যাপী বিশ্বস্ত এআই সহায়ক তৈরির প্রতিযোগিতা বাড়তে থাকছে বলে ইঙ্গিত করে। এই বেঞ্চমার্কটি ক্রিপ্টো এআই এজেন্টগুলির জন্য বিশ্বস্তভাবে পারফর্ম করার প্রয়োজনীয় জটিল, একাধিক-পদক্ষেপ, একাধিক-সেবা সমন্বয়ের ধরনটি পরীক্ষা করে: একাধিক প্রোটোকলের উপর ডিফি পোর্টফোলিও পরিচালনা, গভর্নেন্স প্রস্তাবগুলি মনিটরিং, বাজারের অবস্থার ভিত্তিতে পুনর্ভারসমীকরণ, এবং চেইনগুলির মধ্যে সম্পদ ব্রিজিং।