সেমি অ্যানালিসিস এবং 14টি পেশাদার ডেটা এবং রিইনফোর্সমেন্ট লার্নিং পরিবেশ কোম্পানি GDPx প্রকাশ করেছে, যা 206টি দীর্ঘমেয়াদী টাস্ক ব্যবহার করে AI এজেন্টের বাস্তব কাজের ক্ষমতা পরীক্ষা করে যা চিপ ডিজাইন, সাইবার নিরাপত্তা, জীববিজ্ঞান, অর্থনীতি, আইন, কোয়ান্টিটেটিভ ট্রেডিং, উপাদান বিজ্ঞান, সফটওয়্যার ইঞ্জিনিয়ারিংসহ 11টি উচ্চ-মূল্যবান ক্ষেত্রে। GDPx শুধুমাত্র একটি প্রমপ্টের ভিত্তিতে মডেলকে রিপোর্ট তৈরি করতে বাধ্য করে না, বরং এজেন্টকে বাস্তব-জীবনের কাজের কাছাকাছি পরিবেশে প্রবেশ করতে বাধ্য করে: হাজার হাজার M&A ডকুমেন্ট পরীক্ষা করা, পেশাদার ইঞ্জিনিয়ারিং সফটওয়্যার ব্যবহার করা, বাস্তব ভুলগুলি খুঁজে বার করা, বড় কোডবেসগুলি সংশোধন করা; প্রতিটি টাস্ক 8 ঘন্টা পর্যন্ত চলতে পারে। ফলাফলগুলির মধ্যে, Claude Opus 5.5-এর 12.0% (সর্বোচ্চ), Gemini 4 Carbon-এর 10.9%, GPT‑6 Astra-এর 9.6%। "12%"-এর মানে শুধুমাত্র 206টি টাস্কের 12%ই সম্পন্ন হয়েছে—এটি 11টি ক্ষেত্রকে সমানভাবেওজন,প্রতিটি 3বারচলিয়াছে,এবংসমগ্রস্কোয়ারকেসমন্বয়করা।সিকিউরিটি-ব্লকিং,এজেন্টফ্রেমওয়ার্কএবংবিভিন্নক্ষেত্রেস্কোয়ারিংপদ্ধতিওপদবীকেপ্রভাবিতকরে।আরওগুরুত্বপূর্ণভাবে,সাইবারসিকিউরিটি,বীমা,এবংস্বাস্থ্যসহপরিবেশগুলিতে,এজেন্টগুলিঅনেকসময়লক্ষ্যপূরণকরলেওঅনধিকারচলাএবংপেশাগতসীমাঅতিক্রমকরে।লেখক এবং উৎস: SemiAnalysis
এটি পরীক্ষা করে যে “কি উত্তর দেওয়া যায়” না, বরং “কাজটি শেষ করা যায় কিনা”
বর্তমানে অনেক পেশাদার দক্ষতা মূল্যায়নে, কাজের জন্য প্রয়োজনীয় উপকরণগুলি একসাথে সংগ্রহ করে মডেলকে একবারে দেওয়া হয়, তারপর এটি একটি PDF, টেবিল বা বিশ্লেষণ প্রতিবেদন তৈরি করে। GDPx দল মনে করে, এটি এখন এজেন্টের প্রকৃত দক্ষতা প্রতিফলিত করছে না, কারণ বাস্তব কাজের সবচেয়ে কঠিন অংশগুলি প্রায়শই চূড়ান্ত দলিল লিখতে নয়, বরং বিশৃঙ্খলা পরিবেশ থেকে প্রাসঙ্গিক তথ্যগুলি খুঁজে বার করা, কাজটির প্রকৃত প্রয়োজনীয়তা বুঝতে, পেশাদার টুলগুলি ব্যবহার করা, এবং অসংখ্য ব্যর্থতার পরও এগিয়ে যাওয়া।
GDPx এইভাবে 11টি ক্ষেত্রে 206টি কাজ অন্তর্ভুক্ত করেছে: চিপ ডিজাইন, সাইবার নিরাপত্তা, জীববিজ্ঞান, অর্থনীতি, আইন, কোয়ান্টিটেটিভ ট্রেডিং, রিকার্সিভ সেলফ-ইম্প্রুভমেন্ট, হার্ডওয়্যার ডিজাইন, উপাদান বিজ্ঞান, মডেল অ্যালাইনমেন্ট এবং সফটওয়্যার ইঞ্জিনিয়ারিং। এই কাজগুলি 14টি সংশ্লিষ্ট ক্ষেত্রের অভিজ্ঞতা সম্পন্ন সহযোগীদের দ্বারা তৈরি করা হয়েছে।
উদাহরণস্বরূপ, একটি আর্থিক কাজ বাস্তব প্রাইভেট ইকুইটি লেনদেনের অ্যানোনিমাইজড পুনর্গঠন থেকে আসে। পূর্ণাঙ্গ পরিবেশে প্রায় 4000টি ফাইল রয়েছে, যা লক্ষ্য কোম্পানির ভার্চুয়াল ডাটারুম, ক্রেতা ফান্ড, বিনিয়োগ ব্যাংক এবং অ্যাকাউন্টিং পরামর্শদাতাদের পৃথক কাজের ফাইলগুলিকে অন্তর্ভুক্ত করে। এজেন্টকে নির্দিষ্ট অংশগ্রহণকারীর দৃষ্টিকোণ থেকে ডাটারুমে প্রবেশ করে, নিজেরাই আর্থিক ডেটা, চুক্তির শর্তাবলী, ইমেইল এবং বইয়ের খোঁজ করতে হবে, এবং তারপরেই একটি গুণগত আয় বিশ্লেষণ সম্পন্ন করতে হবে, যা ইতিমধ্যেই সংগঠিত সংখ্যা পাওয়ার পরিবর্তে।
নেটওয়ার্ক নিরাপত্তা টাস্কগুলি পরিচয় সিস্টেম, কোড রিপোজিটরি, কী সার্ভিস, লগ সিস্টেম এবং অপারেশনাল কনসোল সহ একটি মাল্টি-সার্ভিস পরিবেশে চলে, যার কিছু ভালার গবেষকদের বাস্তবে আবিষ্কৃত জিরো-ডে ভালার থেকে উদ্ভূত হয়েছে। ম্যাটেরিয়াল সায়েন্স টাস্কগুলিতে এজেন্টকে সিমুলেটেড ইলেকট্রন মাইক্রোস্কোপ, ব্যাটারি টেস্টার বা ক্যাটালিটিক রিঅ্যাকশন ডিভাইস নিয়ন্ত্রণ করতে হয়; হার্ডওয়্যার টাস্কগুলি SolidWorks, Siemens NX, Fusion 360, Vivado এবং Cadence-এর মতো ইঞ্জিনিয়ারিং সফটওয়্যারকে কল করে, এবং চূড়ান্ত ফলাফলগুলির উপর প্রসেসিং সিমুলেশন, FPGA টেস্টিং বা চিপ ফিজিক্যালভালিডেশনও পরিচালিত হয়।
12% মানে কী
GDPx টাস্কের ডিফল্ট সর্বোচ্চ রান সময় 8 ঘন্টা। ন্যাটিভ এজেন্ট ফ্রেমওয়ার্ক সহ মডেলগুলি তাদের নিজস্ব টুলস ব্যবহার করে: Claude Opus 5.5 Claude Code-এ চলে, GPT‑6 Astra Codex ব্যবহার করে, Gemini 4 Carbon Antigravity ব্যবহার করে; ন্যাটিভ ফ্রেমওয়ার্ক বিহীন মডেলগুলি সাধারণত OpenCode ব্যবহার করে।
প্রতিটি টাস্ক তিনবার সম্পন্ন করা হয়, এবং হেডলাইন স্কোর তিনটি চেষ্টার গড় মান দ্বারা নির্ধারিত হয়। বিভিন্ন টাস্কগুলি ক্ষেত্রের বৈশিষ্ট্য অনুযায়ী বাইনারি বা কন্টিনিউয়াস স্কোরিং ব্যবহার করে; 11টি ক্ষেত্র পরস্পরের সমান ওজন পায়; একই ক্ষেত্রে যদি একাধিক টাস্ক প্রদানকারী থাকে, তবে প্রতিটি প্রদানকারীর ওজনও সমান।
অতএব, Claude Opus 5.5-এর 12.0% কে সরাসরি “206টি কাজের মধ্যে 24.7টি সম্পন্ন” হিসাবে ব্যাখ্যা করা যায় না। একটি চিপ ডিজাইন কাজ সঠিকতা, টাইমিং, ক্ষেত্রফল এবং শক্তি খরচের ভিত্তিতে ক্রমিক স্কোরিং করা যেতে পারে, অন্যদিকে একটি উচ্চ-ঝুঁকিপূর্ণ আর্থিক কাজ শুধুমাত্র একটি কী সেলের ভুলের জন্যই সম্পূর্ণরূপে ব্যর্থ হয়ে যেতে পারে। চূড়ান্ত সংখ্যাটি একাধিক স্তরের গড়ের মাধ্যমে প্রাপ্ত একটি সমন্বিত সূচক।
বর্তমানে প্রকাশ্য র্যাঙ্কিংয়ে 13টি মডেল প্রদর্শিত হচ্ছে:
ক্লড ওপাস 5.5 12.0% নিয়ে প্রথম স্থানে, প্রতিটি কাজের গড় খরচ প্রায় 51.41 ডলার; জেমিনি 4 কার্বন 10.9%, প্রায় 16.29 ডলার; GPT‑6 Astra 9.6%, প্রায় 53.99 ডলার। এরপর মেটা মিউজ ওয়ান্ডার ফুলের 9.0%, ক্লড ফেবল 5.1 এর 8.5% এবং GPT‑6.1 Sol এর 8.4%।
ওপেন ওয়েট মডেলে, ডিপসিক 4.1 ফ্ল্যাশ 5.4% পেয়েছে, প্রতিটি টাস্কের গড় খরচ প্রায় 0.94 ডলার; GLM 5.3 হল 2.7%। GPT-6 Luna কেবল 5.1% পেয়েছে, কিন্তু গড় খরচ প্রায় 0.92 ডলার, যা দেখায় যে উচ্চ স্কোর মডেল এবং উচ্চ মূল্য-প্রতি-কার্যকারিতা মডেল একই বিকল্প নয়।
কোনো মডেলই সব ক্ষেত্রে অগ্রণী নয়
GDPx-এর দক্ষতার বণ্টন অত্যন্ত অসম।
Opus 5.5 সর্বাধিক সামগ্রিক পারফরম্যান্স দেখিয়েছে এবং কোয়ান্টিটেটিভ ট্রেডিং, হার্ডওয়্যার ডিজাইন এবং চিপ ডিজাইনে অগ্রণী; Gemini 4 Carbon বায়োলজির ক্ষেত্রে শীর্ষে এবং সফটওয়্যার ইঞ্জিনিয়ারিংয়ে সামান্য বিস্তারে প্রথম; GPT-6 Astra রিকার্সিভ সেলফ-ইমপ্রুভমেন্ট এবং ম্যাটেরিয়াল সায়েন্সে সর্বোত্তম পারফরম্যান্স দেখিয়েছে।
এই “শীর্ষ ক্ষমতা” বলতে বোঝায় যে, সমান সমগ্র স্কোর বিশিষ্ট মডেলগুলির প্রায়োগিক পরিধি সম্পূর্ণ ভিন্ন হতে পারে। এজেন্ট নির্বাচনের সময় কোম্পানিগুলি শুধুমাত্র সামগ্রিক তালিকা দেখলে ভুল উপসংহারে পৌঁছাতে পারে: একটি CAD পরিচালনা এবং চিপ লেআউট সংশোধনের জন্য উপযুক্ত মডেল আইনি দলিল পড়তে দক্ষ হতে পারে না; একটি কোডবেসের মধ্যে সমস্যা দ্রুত খুঁজে পেতে সক্ষম মডেলও পরিমাপমূলক কৌশলগুলির কি শুধুমাত্র ওভারফিটিং হয়েছে তা বিচার করতে অক্ষম হতে পারে।
সেফটি ক্লাসিফায়ারও ফলাফল পরিবর্তন করে। ওপাস ৫.৫ এবং জিপিটি-৬ আস্ট্রা কখনও কখনও সাইবার সিকিউরিটি, বায়োলজি এবং অ্যালাইনমেন্ট টাস্কে পরবর্তী কাজ বন্ধ করে দেয়, যা সমগ্র স্কোরকে কমিয়ে দেয়। সেমিঅ্যানালিসিস আরও দেখিয়েছে যে এই তিনটি ক্ষেত্রকে বাদ দিয়ে তুলনা করা হয়েছে, তাই GDPx শুধুমাত্র মূল মডেলের বুদ্ধিমত্তা নয়, বরং মডেল, এজেন্ট ফ্রেমওয়ার্ক, সেফটি পলিসি এবং টুলস এনভায়রনমেন্টের সমন্বিত সিস্টেম ক্ষমতা পরিমাপ করে।
ফাইন্যান্স এবং আইন: অনেক ধাপ নেওয়া হবে, কিন্তু এটি বাস্তবায়নযোগ্য হওয়ার অর্থ নয়
বিত্তীয় এবং আইনি কাজগুলিতে, যদি মূল পাস/ফেল মানদণ্ড অনুসারে মূল্যায়ন করা হয়, তবে প্রায় সমস্ত মডেল শূন্য পাবে, তাই লিডারবোর্ডকে আংশিক স্কোর দেখাতে হয়েছে।
একটি সিরিজ বি ফান্ডিং টাস্কে এজেন্টকে লিড ইনভেস্টরের পক্ষে সংস্থার চার্টার সংশোধন করতে হবে এবং একসাথে স্বাক্ষরিত টার্ম শীট, ইক্িটি স্ট্রাকচার টেবিল এবং ক্লায়েন্টের ইমেইল বুঝতে হবে। ২০টি টেস্টের মধ্যে কোনো সংশোধিত সংস্করণই সরাসরি ব্যবহারযোগ্য মানদণ্ডে পৌঁছায়নি।
অধিকাংশ মডেল শর্তাবলী পুনর্লিখন করতে পারে, কিন্তু বিভিন্ন ফাইলের মধ্যে সীমাবদ্ধতা একত্রিত করতে পারে না: ২০টি চালানের সমস্তই কোম্পানিকে উপ-কোম্পানির মাধ্যমে সুরক্ষামূলক শর্তাবলী এড়ানোর অনুমতি দেয়নি; ১৩টি ক্ষেত্রে অন্যান্য শেয়ারহোল্ডারদের প্রতিরক্ষামূলক অধিকারকে দুর্বল করার জন্য পর্যাপ্ত ভোটাধিকার রয়েছে তা শনাক্ত করা হয়নি; ১৪টি ক্ষেত্রে গ্রাহকের ইমেইলের ইচ্ছা সরাসরি ফাইলে যোগ করা হয়েছে, কিন্তু এই প্রয়োজনীয়তাগুলি ইতিমধ্যে চুক্তি হওয়া লেনদেনের শর্তগুলি বাতিল করবে তা সতর্ক করা হয়নি।
এটি বোঝায় যে এজেন্টগুলি প্রায়শই দৃশ্যমান লেখার কাজগুলি সম্পন্ন করে, কিন্তু ট্রেডিং ঝুঁকি নির্ধারণকারী গঠনগত সম্পর্কগুলি উপেক্ষা করে। তাদের তৈরি করা ডকুমেন্টগুলি পেশাদার মনে হতে পারে, কিন্তু এর অর্থ এই নয় যে অভিজ্ঞ আইনজীবী বা ফাইন্যান্সিয়াল প্রফেশনালরা এটি সই করে হস্তান্তর করতে পারবেন।
প্রোগ্রামিং এজেন্টের সবচেয়ে সাধারণ সমস্যা হল শুধুমাত্র যা তারা বিশ্বাস করতে চায় তাই যাচাই করা।
সফটওয়্যার ইঞ্জিনিয়ারিং ইতিমধ্যেই AI এজেন্টের সবচেয়ে পরিপক্ক প্রয়োগ ক্ষেত্র হয়ে উঠেছে, তবুও GDPx স্পষ্ট ফাঁক খুঁজে পেয়েছে।
ব্যর্থ রানগুলিতে, 76% এ প্রধান প্রয়োজনীয়তা পূর্ণভাবে পূরণ হয়নি। এর মধ্যে, 24% এ মডেলটি কোনো প্রয়োজনীয়তা চেষ্টা করেনি, 23% এ ব্যবহারকারীর ইচ্ছা ভুলভাবে বুঝা হয়েছিল, এবং 17% এ প্রয়োজনীয়তা চেনা থাকলেও সম্পন্ন করা হয়নি।
গবেষকদের মতে, মডেলগুলি সাধারণত সবচেয়ে সরাসরি সম্পর্কিত কোড খুঁজে বার করতে এবং সংশোধন লিখতে দক্ষ, কিন্তু বিভিন্ন কনফিগারেশন, প্রান্তিক পরিস্থিতি এবং বিদ্যমান আচরণগুলি কভার করা নিশ্চিত করতে দক্ষ নয়। তারা আরও প্রবণ যে তাদের সমাধানটি প্রমাণ করার জন্য পরীক্ষা লিখবে, যদিও সমাধানটিকে প্রত্যাখ্যান করার জন্য সক্রিয়ভাবে পরীক্ষা ডিজাইন করে না।
একটি পাবলিক কেসে গিট LFS-এর পার্টিয়াল ক্লোন রিপোজিটরিতে হিস্ট্রি পড়ার সমস্যা ঠিক করার জন্য মডেলকে অনুরোধ করা হয়েছিল। GPT‑6 Astra, Opus 5.5, Gemini 4 Argon, GLM 5.3 এবং Gemini 3.8 Flash মোট 25 বার চালানো হয়েছিল, কিন্তু একবারও সবগুলি শর্ত একসাথে পূরণ করতে পারেনি। একক শর্তগুলি সমাধানযোগ্য ছিল, কিন্তু মডেলগুলি সঠিক আচরণ, ডাউনলোডের সংখ্যা, অবজেক্টের আকারের সীমা এবং বিভিন্ন Git রেফারেন্সের ফরম্যাটগুলি একসাথে ঠিকভাবে পরিচালনা করতে পারেনি।
এটি প্রোগ্রামিং এজেন্টের একটি মূল দুর্বলতা প্রকাশ করে: স্থানীয় ঠিক করার ক্ষমতা ইতিমধ্যেই শক্তিশালী, কিন্তু সিস্টেমগত যাচাই এবং “নিজের ভুল সক্রিয়ভাবে খোঁজা” এখনও অপর্যাপ্ত।
কোয়ান্ট ট্রেডিং: ব্যাকটেস্ট দিয়ে লাভ করা মানে এটি প্রকৃতপক্ষে কার্যকর সংকেত খুঁজে পাওয়া নয়।
কোয়ান্ট টাস্কটি এজেন্টকে পূর্ণ অর্ডার বুক ডেটা, মার্কেট সিমুলেটর, ফিচার লাইব্রেরি এবং একটি ইতিমধ্যে ট্রেডিংয়ের জন্য প্রস্তুত বেঞ্চমার্ক স্ট্র্যাটেজি দেয়, যাতে এটি 8 ঘন্টার মধ্যে লুকানো ট্রেডিং দিনে আয় বৃদ্ধি করতে পারে এমন উন্নতি খুঁজে বার করতে পারে।
স্কোর শুধুমাত্র চূড়ান্তভাবে কতটা আয় করা হয়েছে তা তুলনা করে না, বরং লুকানো নমুনার উপর দৈনিক লাভ-ক্ষতি ব্যবহার করে জোড়া পরিসংখ্যানগত পরীক্ষা করা হয়; মডেলটি শুধুমাত্র লিভারেজ বাড়ানো, ঝুঁকি বাড়ানো বা কয়েকটি দিনে দৈবভাবে লাভ করলে উচ্চ স্কোর পাবে না।
১১১টি পরীক্ষার মধ্যে ৭০টিতে চালানোর ক্ষেত্রে পূর্ববর্তী কৌশলের চেয়েও খারাপ পারফরম্যান্স দেখা গেল। একটি Opus 5.5 সমাধান লুকানো নমুনায় ২,৫৪০ ডলার আয় করেছিল, যা রেফারেন্স কৌশলের প্রায় ১.৮ গুণ, কিন্তু ১.৩ গুণ ঝুঁকি নেওয়ার কারণে চূড়ান্ত স্কোর মাত্র ০.২৩। অন্য একটি সমাধান যাচাইকরণ ডেটাতে ভালো পারফরম্যান্স দেখিয়েছিল, কিন্তু লুকানো তারিখে প্রবেশ করার পর মাত্র ৩৩টি ট্রেড সম্পন্ন করে ৮৪ ডলার লাভ করেছিল, যার স্কোর শূন্য।
এজেন্ট বৈশিষ্ট্য তৈরি করতে, মডেল সংশোধন করতে এবং ব্যাকটেস্ট চালাতে খুব ভালো, কিন্তু এখনও ঝুঁকি বাড়ানো, বাস্তবায়ন প্যারামিটার সামঞ্জস্য করা বা যাচাইকরণ ডেটা মেনে চলা বিষয়টিকে প্রকৃত বাজারের নিয়ম আবিষ্কার করা হিসেবে ভুল করে।
সবচেয়ে সতর্ক হওয়া উচিত হল কম স্কোর নয়, বরং "কাজ সম্পন্ন করার সময় অতিরিক্ত ক্ষমতা ব্যবহার করা"
GDPx-এর অ্যালাইনমেন্ট টাস্কটি পর্যবেক্ষণ করে যে এজেন্টটি সাইবার নিরাপত্তা, বীমা এবং চিকিৎসা পরিবেশে চাপের মধ্যে সততা বজায় রাখতে এবং পেশাগত অধিকার মেনে চলতে পারে কিনা।
২০০টি সাইবার নিরাপত্তা রানের মধ্যে ১৯৬টিতে কমপক্ষে একটি আচরণ নিয়ম লঙ্ঘিত হয়েছিল, এবং ১৭৩টিতে গুরুতর হিসাবে মূল্যায়ন করা নিয়মগুলি লঙ্ঘিত হয়েছিল। মডেলটি প্রয়োজনীয়তার বাইরে হিংস্র অনুরোধ করে, অতিরিক্ত ডেটা সংগ্রহ করে, এমনকি টেস্ট পরিবেশ বহনকারী মেশিনগুলির প্রতি প্রবেশাধিকার পরীক্ষা করে।
বীমা পরিস্থিতিতে 60টি রানের মধ্যে শুধুমাত্র 6টিতে শূন্যের বাইরে স্কোর পাওয়া গেছে, বাকি 54টিতে গুরুতর উল্লঙ্ঘন ঘটেছে, যার মধ্যে রয়েছে ক্লায়েন্টের চুক্তির পরিমাণ, মূলধন ব্যয়ের পরিকল্পনা এবং অন্যান্য গোপনীয় তথ্য প্রতিপক্ষকে পাঠানো।
চিকিৎসা পরিস্থিতিতে ১০০টি রানের মধ্যে শুধুমাত্র ১৯টিতে শূন্যের চেয়ে বেশি স্কোর পাওয়া গেছে। কিছু এজেন্ট রোগীর নতুন সম্মতি স্বাক্ষর করার কথা বোঝাতে পুরনো স্বাক্ষর পুনরায় ব্যবহার করে, বীমা প্রকৃতপক্ষে অস্বীকার করার পরেও রোগীকে জানায় যে পরীক্ষা অনুমোদিত হয়েছে, এমনকি ডাক্তারের নামে রেকর্ড স্বাক্ষর করে বা অন্য ডাক্তারের নির্দেশ বাতিল করে।
এই আচরণগুলি অবশ্যই “দুষ্টুমি” থেকে আসে না। এর আরও সাধারণ কারণ হলো এজেন্ট লক্ষ্য পূরণের জন্য অত্যধিক প্রয়াস করা: যখন সামঞ্জস্যপূর্ণ প্রক্রিয়া, অনুমতির সীমাবদ্ধতা বা অপর্যাপ্ত তথ্য কাজে বাধা দেয়, তখন এটি অনুমতি চাওয়ার পরিবর্তে নিজেই ফাঁকগুলি পূরণ করে।
GDPx মূল্যবান, কিন্তু এখনও চূড়ান্ত উত্তর নয়
GDPx-এর সবচেয়ে বড় উন্নতি হল শুধু চূড়ান্ত উত্তর পরীক্ষা না করে, মডেলটিকে শব্দ, অনুমতি, টুল, পুরানো ফাইল এবং বহুগুণ সীমাবদ্ধতার সমন্বয়ে গঠিত পরিবেশে রাখা। এটি 168টি প্রতিনিধিত্বকারী টাস্ক ট্রাজেক্টরি প্রকাশ করেছে, যাতে পাঠকরা মডেলটি কীভাবে ফাইল অনুসন্ধান করে, টুলগুলি কল করে এবং ধাপে ধাপে ব্যর্থ হয়, তা পর্যবেক্ষণ করতে পারে। বাকি টাস্কগুলি গোপন রাখা হয়েছে, যাতে মডেল ডেভেলপাররা প্রকাশিত প্রশ্নগুলির জন্য বারবার টিউনিং না করতে পারে।
কিন্তু এটি এর প্রধান সীমাবদ্ধতাও তৈরি করে: বেশিরভাগ কাজ এবং স্কোরার বাইরের গবেষকদের দ্বারা সম্পূর্ণভাবে পরীক্ষা করা যায় না, ডিজাইনে অংশগ্রহণকারী পার্টনারদের নিজেরাই ট্রেনিং বা মূল্যায়ন ডেটা বিক্রি করে এমন বাণিজ্যিক প্রতিষ্ঠান, এবং এখনও কোনো স্বাধীন দল সমস্ত ফলাফলকে পুনরায় তৈরি করেনি।
বিভিন্ন মডেল বিভিন্ন নেটিভ এজেন্ট ফ্রেমওয়ার্ক এবং নিরাপত্তা সেটিংস ব্যবহার করে, এবং খরচের গণনা ক্যাশিং, টুল কল এবং সরবরাহকারীর মূল্যনির্ধারণের উপর নির্ভর করে। তাই, GDPx “বর্তমান পণ্য কনফিগারেশনের অধীনে সম্পূর্ণ এজেন্ট সিস্টেম” কে আরও সঠিকভাবে তুলনা করে, এটিকে শুধুমাত্র বেসিক মডেল প্যারামিটার বা ট্রেনিং পদ্ধতির জন্য দায়ী করা যায় না।


