🔺 আমরা ২০ দিন দেরিতে যোগ দিয়েছি। ছয় দিন পরে, আমরা #71। আমরা ICML 2026 Agent Reproduction Challenge-এ যোগ দিয়েছি শুরু হওয়ার ২০ দিন পরে, যেখানে আমাদের হাতে ছিল এক সপ্তাহেরও কম সময় আমাদের কাজ তৈরি, পরীক্ষা, নথিভুক্ত, প্রকাশ এবং প্রতিরক্ষা করার জন্য। ছয় দিন পরে, AITrailblazer ৩৫০ জন অংশগ্রহণকারীর মধ্যে #71 অবস্থানে আছে—প্রায় শীর্ষ ২০%-এ—৬টি বিচারক-পরীক্ষিত পেপার রেপ্রোডাকশন থেকে মোট ৪৪ পয়েন্ট নিয়ে। ওই স্কোর ২২টি গবেষণা দাবিকে উপস্থাপন করে, যেগুলো স্বতন্ত্রভাবে যাচাই বা খণ্ডন করা হয়েছে। আমাদের তিনটি লগবুক নিখুঁত ১০/১০ পেয়েছে। একটি পেয়েছে ৮/১০। আরেকটি বর্তমানে ৬/১০ এ আছে। আমাদের আংশিক Tool-Guard released-evidence audit কোনো পয়েন্ট পায়নি—এবং পুরো চ্যালেঞ্জের অন্যতম গুরুত্বপূর্ণ শিক্ষা আমাদের দিয়েছে। কোনো লেখকের প্রকাশিত ফলাফল যাচাই করা আর সেই ফলাফল স্বতন্ত্রভাবে পুনরুৎপাদন (reproduce) করার মধ্যে মৌলিক পার্থক্য আছে। আমাদের কাছে ২৬ দিন সময় ছিল না লিডারবোর্ড অধ্যয়ন করার, সহজ দাবি বেছে নেওয়ার, আমাদের প্রক্রিয়া অপটিমাইজ করার, এবং ধীরে ধীরে আমাদের সাবমিশন উন্নত করার জন্য। আমাদের হাতে ছিল ছয় দিন। ওই ছয় দিনে আমাদেরকে উপযুক্ত পেপার খুঁজে বের করতে হয়েছে, তাদের মূল দাবিগুলো বুঝতে হয়েছে, প্রকাশিত কোড ও ডেটা খুঁজতে হয়েছে, স্বতন্ত্র পরীক্ষা ডিজাইন করতে হয়েছে, এক্সপেরিমেন্ট চালাতে হয়েছে, প্রমাণ সংরক্ষণ করতে হয়েছে, হ্যাশ গণনা করতে হয়েছে, সীমাবদ্ধতা নথিভুক্ত করতে হয়েছে, পাবলিক Trackio Spaces প্রকাশ করতে হয়েছে, এবং একজন স্বতন্ত্র Judge-এর জন্য অপেক্ষা করতে হয়েছে। আমরা মনোযোগ দিয়েছি বৈজ্ঞানিক পুনরুৎপাদন আসলে কী বোঝানো উচিত তা নিয়ে: পাবলিক ও পরিদর্শনযোগ্য প্রমাণ। এক্সিকিউটেবল পদ্ধতি। যেখানে সম্ভব নির্ধারিত (deterministic) গণনা। সুনির্দিষ্ট হ্যাশ ও উৎসপথ (provenance)। ভুলসম্মত একমত হওয়া ধরার জন্য ডিজাইন করা নেগেটিভ কন্ট্রোল। স্বতন্ত্র প্রমাণ এবং লেখক-প্রকাশিত আর্টিফ্যাক্টের মধ্যে পরিষ্কার বিভাজন। যা আমরা পুনরুৎপাদন করতে পেরেছি—এবং যা পারিনি—তার সৎ নথিভুক্তি। এই সাফল্য গুরুত্বপূর্ণ কারণ AI অত্যন্ত দ্রুত বিশ্বাসযোগ্য ব্যাখ্যা তৈরি করতে পারে। কিন্তু বৈজ্ঞানিক অগ্রগতি আসে না ব্যাখ্যা থেকে যা শুধু শুনতে সঠিক মনে হয়। এটি আসে সেই সব দাবির থেকে, যেগুলো স্বতন্ত্র পরীক্ষার মুখোমুখি হয়ে টিকে থাকে। এটি আসে এমন নেগেটিভ ফলাফল থেকেও, যেগুলো সফল নিশ্চিতকরণের মতো একই যত্ন নিয়ে নথিভুক্ত করা হয়। চ্যালেঞ্জটি সেই নীতিকে স্বীকৃতি দিয়েছে যাচাই ও খণ্ডিত—দুই ধরনের দাবির জন্যই সমান পয়েন্ট দিয়ে। এটি গুরুত্বপূর্ণ। কঠোরভাবে করা এমন একটি ফলাফল, যা দেখায় যে কোনো দাবি পুনরুৎপাদন করা যায় না, বিজ্ঞানকে সফল নিশ্চিতকরণের মতোই মূল্য দিতে পারে। এটি ভুয়া আত্মবিশ্বাস ঠেকায়, গোপন অনুমানগুলো প্রকাশ করে, এবং ভবিষ্যৎ গবেষকদের জন্য আরও মজবুত ভিত্তি তৈরি করে। আমাদের বর্তমান পরিস্থিতি আরও দেখায় কেন reproducibility অবকাঠামো গুরুত্বপূর্ণ। আমাদের সর্বশেষ Prediction-Powered Inference আপডেটটি পাবলিক, সুস্থ, এবং স্বয়ংক্রিয় Judge দ্বারা সফলভাবে সনাক্ত করা হয়েছে। তবে, Hugging Face inference router সার্ভার-পক্ষীয় HTTP 504 ত্রুটি ফেরত দেওয়ায় তিনটি মূল্যায়ন প্রচেষ্টাই ব্যর্থ হয়েছে। আমরা কোনো প্রমাণ পরিবর্তন না করে, ম্যানুয়াল রায় না চেয়ে, অথবা বিকল্প ফলাফল সাবমিট না করেই একটি প্রশাসনিক requeue অনুরোধ করেছি। ওই স্বয়ংক্রিয় মূল্যায়ন পুনরুদ্ধার না হওয়া পর্যন্ত, লিডারবোর্ড আমাদের বিদ্যমান ৪৪ পয়েন্ট এবং #71 অবস্থান-ই প্রদর্শন করছে। চূড়ান্ত র‌্যাঙ্কিং এখনও পরিবর্তিত হতে পারে। অন্যান্য অংশগ্রহণকারীরা কাজ সাবমিট করা চালিয়ে যাচ্ছে। আমাদের PPI আপডেট আবারও পুনর্মূল্যায়িত হতে পারে। ডেডলাইন ঘনিয়ে আসার সাথে সাথে লিডারবোর্ড সক্রিয় রয়েছে। কিন্তু চূড়ান্ত অবস্থান যাই হোক না কেন, ২০ দিন দেরিতে যোগ দিয়ে—এবং মাত্র ছয় দিনে—৩৫০ জনের মধ্যে #71-এ পৌঁছানো ইতোমধ্যেই স্বীকৃতির যোগ্য একটি সাফল্য। আমরা শুধু গবেষণা পেপারের সারাংশ তৈরি করিনি। আমরা একটি পাবলিক, পরিদর্শনযোগ্য রেকর্ড তৈরি করেছি যা দেখায় কী টিকে ছিল, কী ব্যর্থ হয়েছে, আমরা কীভাবে তা পরীক্ষা করেছি, এবং প্রমাণ কোথায় এসে শেষ হয়েছে। reproducibility দেখতে এমন হওয়া উচিত। লাইভ লিডারবোর্ড: https://t.co/ALGcVy1Qng আমাদের সবচেয়ে শক্তিশালী ১০/১০ রেপ্রোডাকশন—CoopEval: https://t.co/FW8JxWV4b6 আমরা ২০ দিন দেরিতে যোগ দিয়েছি। আমাদের হাতে ছিল ছয় দিন। আমরা শীর্ষ ২০%-এ পৌঁছেছি। Reproducibility hype-কে হারিয়ে দেয়। প্রমাণ জমানো সম্পদ (compounds)। #ICML2026 #AIResearch #Reproducibility #OpenScience