প্রম্পট লেখার চেয়ে লুপ লেখুন: একটি স্বতন্ত্র বিচারক দিয়ে Fable 5-এর ছয়গুণ পারফরম্যান্স অর্জন করুন বড় মডেলগুলির আত্ম-সংশোধনের সময় অতিমাত্রায় আত্মবিশ্বাসী হয়ে পড়ার সাধারণ সমস্যার বিরুদ্ধে, Anthropic টিম মেশিন লার্নিং ট্রেনিং চ্যালেঞ্জে তুলনামূলক পরীক্ষা চালিয়েছে। পরীক্ষায় Fable 5-কে আত্ম-সমালোচনা করতে দেওয়া হয়নি, বরং CMA-এর Outcomes ফিচারটি ব্যবহার করে একটি স্বতন্ত্র কনটেক্সট উইন্ডোতে একটি স্কোরিং এজেন্ট তৈরি করা হয়েছে, যা 9টি মেট্রিকসযুক্ত স্পেসিফিকেশন ডকুমেন্ট অনুযায়ী বিচারকের ভূমিকা পালন করে। ফলাফলগুলি দেখিয়েছে যে, একটি স্বতন্ত্র বিচারককে লুপ-ভিত্তিক ডিজাইনের মধ্যে যোগ করলে Fable 5-এর ট্রেইনিং পাইপলাইনের উন্নতি Opus 4.7-এর 6গুণ। Fable 5-এর প্রবণতা হলো বড় আর্কিটেকচারাল পরিবর্তনগুলির সন্ধান, এমনকি কোয়ান্টিটেটিভ রিগ্রেশনেরও সম্মুখীন হলেও, এটি ঠিক করার জন্য অটলভাবে চেষ্টা করে, যা একটি অসাধারণ ইঞ্জিনিয়ারিং টেনসিলিটির পরিচয়।相比之下, Opus 4.7-এর সিদ্ধান্তগতসীমাবদ্ধতা,শুধুমাত্রটেমপ্লেটভিত্তিকস্কেলারকনস্ট্যান্টগুলিরসূক্ষ্মসমন্বয়েসীমাবদ্ধহয়েপড়েছে। অন্যান্যএকটিপরীক্ষায়,যাঅতিকথা-পদক্ষেপঅনলাইনশিখনপরীক্ষা,টিমপারশেয়াবলমাউন্টডফাইলসিস্টেমব্যবহারকরেবড়মডেলগুলিরজিহবা-ব্যবহারকরণেরপাঁচধাপসমন্বয়করেছে:ব্যর্থতারলগকরা,কারণচিহ্নিতকরা,তথ্যপরীক্ষা,সাধারণনিয়মউদ্ভবকরা,এবংসরাসরনিয়মঅনুসন্ধান। তুলনামূলকপরীক্ষা,বিভিন্নমডেলগুলিরপারফরম্যান্সএকটিবড়সোজা-পদক্ষেপদেখিয়েছে।Sonnet4.6শুধুমাত্রঅসৎভাবেভুলগুলিরলগকরছেএবংঅজানা-অভিজ্ঞতা-ভিত্তিকঅনুমানচলছে,প্রায়সবসময়ইইতিহাসপরীক্ষাকরছেনা।Opus4.7অনিশ্চয়তা-চিহ্নযুক্তপ্যাটার্নঅনুসন্ধানকরতেপারছে,তবেপরীক্ষা-আবৃতি(coverage)শুধুমাত্র17%প্রায়।Fable5তবেপূর্ণভাবেজিহবা-শৃঙখলপথচলছে,পরীক্ষা-আবৃতি73%এবংচিকিৎসা-সমষ্টি-সহজ-সহজভাবেসাধারণ-নিয়মহিসাবেআউটপুটদিচ্ছে। পরীক্ষা-গুলিদেখিয়েছেযে,প্রতিক্রিয়া-উত্তরদানযোগ্যআত্ম-সংশোধনলুপএবংস্বয়ং-জিহবা-পরিচালনা-ডিজাইনকরা,বড়মডেলগুলিরউদ্দেশ্যপথ-পথ-অভিনয়দিয়েহদয়দখলকরা-এরচেয়েঅধিকবাস্তবসমস্যা-সমধি। #AI #AIAgent @grok