একটি এআই এজেন্ট তাদের নিজস্ব খেলায় প্রায় ৩,৯৯২টি মানব দলকে হারিয়েছে। মেটার এফএআইআর ল্যাব, লন্ডনের ইউনিভার্সিটি কলেজ এবং অক্সফোর্ড বিশ্ববিদ্যালয়ের গবেষকদের দ্বারা বিকশিত AIRA₂, এআই যুক্তির উপর ভিত্তি করে একটি ক্যাগল প্রতিযোগিতায় ৪,০০০টি দলের মধ্যে ৮ম স্থান অধিকার করে একটি স্বর্ণপদক অর্জন করেছে।
AIRA বাস্তবে কী করে
AIRA এজেন্ট লাইন (যার নামের পূর্ণরূপ AI Research Agent) জটিল মেশিন লার্নিং ইঞ্জিনিয়ারিং সমস্যাগুলি স্বয়ংক্রিয়ভাবে সমাধানের জন্য ডিজাইন করা হয়েছে। শুধুমাত্র একটি মডেল চালানো এবং সেরা ফলাফলের আশা করার পরিবর্তে, AIRA 8টি Nvidia H200 GPU-এ চলমান অ্যাসিঙ্ক্রোনাস মাল্টি-GPU এক্সিকিউশন স্ট্র্যাটেজি ব্যবহার করে।
সিস্টেমটি গবেষণা দল যা একটি “হিডেন কনসিসটেন্ট ইভালুয়েশন” প্রোটোকল নামে ডাকে, তা ব্যবহার করে, যা এজেন্টকে তার নিজের টেস্ট স্কোর গেমিং করা থেকে বাঁচায়। এজেন্টটি ডাইনামিক রিএক্ট-স্টাইল অপারেটরও ব্যবহার করে, অর্থাৎ এটি ধাপে ধাপে সমস্যাগুলির যুক্তি দিতে পারে, তার পদ্ধতি সময়ের সাথে সাথে সামঞ্জস্য করতে পারে এবং একসাথে একাধিক প্রসেসরে কোড বাস্তবায়ন করতে পারে।
MLE-bench-30-এ, যা 30টি বাস্তব ক্যাগল প্রতিযোগিতা থেকে তৈরি একটি সংগঠিত বেঞ্চমার্ক, 24 ঘন্টা গণনার পর AIRA₂ একটি গড় পারসেন্টাইল র্যাঙ্ক 81.5% অর্জন করে। এটিকে 72 ঘন্টা দিন, এবং সেই সংখ্যা বেড়ে 83.1% হয়ে যায়। অন্যান্য এজেন্টগুলির থেকে সর্বোত্তম পূর্ববর্তী বেসলাইন 72.7% ছিল, যা AIRA₂-এর উন্নতি প্রতিযোগিতার চেয়ে প্রায় 9 পারসেন্টেজ পয়েন্ট বেশি।
এটি শুধু গর্ব করার বিষয় নয় কেন
AIRA₂ এআইআরএস-বেঞ্চ মূল্যায়নে ২০টি কাজের মধ্যে ৬টিতে মানব সর্বোচ্চ কার্যক্ষমতা ছাড়িয়ে গেছে। এছাড়াও, আগের সংস্করণগুলি কোনো পুরস্কার অর্জন করতে পারেনি এমন ব্যক্তিগত Kaggle কাজগুলিতে এটি সোনার পদক জিতেছে।
এই ফ্রেমওয়ার্কটি টিম যা AIRA-dojo পদ্ধতি বলে ডাকে, তার উপর ভিত্তি করে তৈরি করা হয়েছে, যা আগের এজেন্টগুলির সীমাবদ্ধতাগুলি মোকাবেলা করার জন্য বিশেষভাবে ডিজাইন করা হয়েছে। এই সীমাবদ্ধতাগুলির মধ্যে ছিল সীমিত গণনা ক্ষমতা, মূল্যায়নের ওভারফিটিং, বিভিন্ন সমস্যার ধরনের মধ্যে সাধারণীকরণের ব্যবধান, এবং স্থির অপারেশনাল সীমাবদ্ধতা যা এজেন্টকে কাজের মধ্যে তার কৌশল পরিবর্তন করতে বাধা দিত।
প্রতিযোগিতামূলক এআই গবেষণা পরিবেশ
মেটা FAIR, UCL এবং অক্সফোর্ডের সহযোগিতা তাদের প্রতিষ্ঠানগত ওজনের জন্য উল্লেখযোগ্য। গবেষণা দলটি তাদের ফলাফলগুলি arXiv প্রিপ্রিন্টের মাধ্যমে ছড়িয়ে দিয়েছে, যা অগ্রগামী AI গবেষণার জন্য মানক চ্যানেল।