
আমি জানতাম না যে তাদের অনির্বন্ধ ইন্টারনেট অ্যাক্সেস আছে। এটি আমাকে PostTrainBench-এর প্রতি কম বিশ্বাসী করে তুলেছে। কারণ সর্বশেষ মডেলগুলির কাছে ভালো শিক্ষক মডেল, ভালো ডেটাসেট এবং পোস্ট-ট্রেনিং-এর জন্য ভালো পেপার/পদ্ধতি আছে। এটি সর্বশেষ মডেলগুলির স্কোরকে বাড়িয়ে দেয়। আমি মনে করি প্রতিবার একটি নতুন মডেল যোগ হলে প্রতিটি মডেল পুনরায় চালানোর প্রয়োজন নেই, কিন্তু আমি মনে করি তাদের ১-৩ মাসের মধ্যে একটি ছোট সেট অ্যাঙ্কর মডেল (যেমন: anchor models) পুনরায় চালানো উচিত, যাতে স্কোরের এই বৃদ্ধির পরিমাণ পরিমাপ করা যায়।
