सबसे बड़े शैक्षणिक AI सम्मेलन ने अभी तक कृत्रिम बुद्धिमत्ता को अपना गृहकार्य स्वयं अंकित करने की अनुमति दी है। AAAI-26, जो AI शोध के लिए प्रमुख मंचों में से एक है, ने एक पायलट कार्यक्रम चलाया जिसमें 22,977 मुख्य पथ पेपर सबमिशन के लिए AI द्वारा समीक्षाएँ तैयार की गईं, जिससे यह प्रमुख शैक्षणिक सम्मेलन पर AI-संचालित सहकर्मी समीक्षा का पहला पूर्ण-पैमाने पर प्रस्तुतीकरण बन गया।
ट्विस्ट: पायलट के बाद किए गए सर्वेक्षणों में पाया गया कि लेखक और कार्यक्रम समिति के सदस्य दोनों ही AI-द्वारा उत्पन्न समीक्षाओं को पसंद करते हैं। विशेष रूप से, उन्होंने तकनीकी सटीकता और शोध सुझावों की गुणवत्ता के मामले में मानवीय समीक्षाओं की तुलना में उन्हें अधिक अंक दिए।
डबल-ब्लाइंड एआई समीक्षा प्रणाली कैसे काम करती थी
कार्यक्रम एक डबल-ब्लाइंड ढांचे के भीतर संचालित हुआ, जिसका अर्थ है कि लेखक और समीक्षक एक-दूसरे की पहचान नहीं जानते थे। प्रत्येक कागजात के साथ AI-उत्पन्न समीक्षाओं को कम से कम दो मानव समीक्षाओं के साथ रखा गया, जिससे एक साइड-बाय-साइड तुलना बनी जिसे शोधकर्ता दोनों स्रोतों के प्रति भेदभाव के बिना मूल्यांकन कर सकते थे।
एक महत्वपूर्ण डिजाइन चयन: AI समीक्षाकर्ताओं ने अपने आप को AI-उत्पादित के रूप में पहचाना। यह एक ट्यूरिंग परीक्षण नहीं था। लक्ष्य मानव समीक्षाकर्ताओं को पूरक करना था, न कि किसी को यह विश्वास दिलाना कि एक भाषा मॉडल एक स्थायी प्रोफेसर है।
AI समीक्षाएँ एक बहु-चरणीय LLM-आधारित प्रणाली का उपयोग करके तैयार की गईं, जो एक दिन से कम समय में कागजातों को प्रोसेस कर सकती थी। प्रतिभागियों ने AI समीक्षाओं की सहायक प्रकृति को नोट किया और पाया कि वे समीक्षा प्रक्रिया को कमजोर नहीं, बल्कि बढ़ावा देती हैं।
AI पीयर रिव्यू क्यों महत्वपूर्ण है अकादमिक दुनिया से परे
2023 में स्टैनफोर्ड द्वारा किए गए एक अध्ययन में पाया गया कि AI द्वारा उत्पन्न पाठ पहले ही शीर्ष मशीन लर्निंग कॉन्फ्रेंसों पर पीयर रिव्यू के एक मापने योग्य हिस्से में दिखाई दिया है, हालांकि उस मामले में यह रिव्यूअर्स द्वारा ChatGPT का उपयोग करके अपनी प्रतिक्रिया का रूपरेखा तैयार करना था, न कि आधिकारिक रूप से मंजूर प्रणाली।
AAAI-26 के पायलट ने विपरीत दृष्टिकोण अपनाया। इसने यह नहीं बताया कि AI कमरे में नहीं है, बल्कि इस प्रक्रिया को औपचारिक रूप दिया, इसके चारों ओर सुरक्षा उपाय बनाए, और परिणामों का सामान्य रूप से अध्ययन किया।
अनुसंधान के परिणाम arXiv पेपर 2604.13940 में दस्तावेज़ीकृत किए गए हैं, और पूरे डेटासेट और विश्लेषण का सार्वजनिक प्रकाशन अगस्त 2026 के लिए निर्धारित है।
इस पायलट में प्रोसेस किए गए 22,977 पेपर्स एक ऐसा पैमाना है जिसे पहले किसी भी AI-सहायता वाली पीयर रिव्यू के अध्ययन ने नहीं छुआ है। पिछले कार्यों में सिमुलेटेड वातावरण या छोटे नमूने का उपयोग किया जाता था, जिससे सामान्यीकृत निष्कर्ष निकालना कठिन हो जाता था।