कल रात मैंने कहा था कि मैं यह अध्ययन जारी करूँगा कि क्या क्रॉस-मॉडल परागण वास्तव में ओपन ऑटो-रिसर्च में मदद करता है या नहीं। यह रहा, और मेरा जवाब है नहीं: जिस मॉडल के ब्रांड पर आप अपना काम बनाते हैं, वह यह नहीं बदलता कि आपकी सबमिशन जीतती है या नहीं। जो मायने रखता है, वह ज़्यादा उस चीज़ जैसा दिखता है जिस पर @sreeramkannan ने शुरू में ध्यान दिलाया था — बहुत से लोग एक ही सार्वजनिक फ्रंटियर पर मिलकर काम कर रहे हों। सवाल @0xkydo की Sreeram के "anons beat anthropic by 2x" पोस्ट पर रिप्लाई से आया, कि यह "एक अच्छा केस स्टडी है कि कैसे क्रॉस मॉडल परागण बेहतर नतीजों तक ले जा सकता है।" यह अच्छा सवाल है, और https://t.co/zVaWaF5HEj पेपर गद्य में इसी तरह का अवलोकन करता है, कि प्लेटो बार–बार अलग-अलग मॉडल और टूल्स इस्तेमाल करने वाले लोगों द्वारा तोड़े जाते रहे। किसी ने इसे डेटा के ख़िलाफ़ जाँच नहीं किया था, तो मैंने किया। बेसिक सेटअप यह है: मैंने 10 लीडरबोर्ड्स के लिए सार्वजनिक Yukon API को फ्रीज़ किया, जिनमें https://t.co/zVaWaF5HEj भी शामिल है, जो 30,687 स्कोर की गई सबमिशन हैं। हर सबमिशन के लिए मैंने घोषित मॉडल के पीछे की कंपनी रिकॉर्ड की और यह निकाला कि वह किस पहले की सबमिशन पर आधारित थी, @yukonresearch के attribution रिकॉर्ड, नोट्स की "Base:" लाइन और कोड डिफ्स से। फिर मैंने पूछा: जब आप किसी और के काम पर बिल्ड करते हैं, तो क्या आपकी सबमिशन के प्रमोट होने की संभावना ज़्यादा होती है अगर उनका काम आपकी कंपनी से अलग कंपनी के मॉडल से किया गया था? मैंने पूरा विश्लेषण लिखकर OpenTimestamps के साथ टाइमस्टैम्प कर दिया, किसी भी नतीजे को डेटा से जोड़ने से पहले, ताकि मेथड किसी जवाब की ओर खिसक न सके। डेटा सबसे पहले यह दिखाता है कि क्रॉस-कंपनी बिल्डिंग सामान्य केस है, कोई विशेष घटना नहीं। दो तिहाई स्टेप्स में, जहाँ कोई किसी और के काम पर बिल्ड करता है, वेंडर बदलता है (इमेज 2), ज़्यादातर दोनों दिशाओं में Anthropic और OpenAI मॉडल्स के बीच। कच्चे नंबर तो हल्के तौर पर उलटी दिशा में झुकते हैं: दूसरी कंपनी के मॉडल पर बिल्ड की गई 6.1% सबमिशन प्रमोट हुईं, जबकि उसी कंपनी के मॉडल पर बिल्ड की गई 7.6% हुईं। लेकिन कच्चे रेट इस बात को मिला देते हैं कि कौन सबमिट करता है, कब करता है, और किस स्टार्टिंग पॉइंट से करता है। इसलिए असली टेस्ट हर प्रतिभागी की तुलना खुद उससे करता है, लीडरबोर्ड के उसी स्टेज पर। ऐसा करके और 10 लीडरबोर्ड्स पर मिलाकर देखें तो प्रमोशन की ऑड्स क्रॉस-कंपनी बिल्डिंग के लिए लगभग 2% ज़्यादा हैं, और डेटा लगभग 18% कम या 28% ज़्यादा से आगे कुछ भी निकाल देता है (इमेज 1)। विश्लेषण के सभी नौ वैकल्पिक संस्करण जिन्हें मैंने पहले से फिक्स किया था, वही जवाब देते हैं। यह उस बार को पार करता है जो मैंने असर को औसतन नगण्य कहने के लिए सेट की थी। एक ईमानदार caveat: मैंने शुरुआत में बार ज़्यादा सख्त रखी थी, और एक प्री-रजिस्टर्ड power check मुझे किसी भी नतीजे को देखने से पहले थोड़ा चौड़ी बार तक ले गया; सख्त बार के तहत यह अनिर्णीत रहता। वह हिस्सा जो मुझे सबसे मज़ेदार लगा, वह @sreeramkannan की पोस्ट का 843-क़्यूबिट सर्किट है (इमेज 3)। यह वाकई एक क्रॉस-मॉडल स्टेप है। @jieyilong की GPT-5 सबमिशन 843 क्विबिट्स और 11.95M Toffolis पर, अपनी ही नोट के मुताबिक, gnuchev के Claude Opus 5.5 सर्किट से शुरू होती है, जो 843 क्विबिट्स और 13.01M पर है, और खुद उसी दिन के दो BitWonka सर्किट्स पर बिल्ड करता है। तो परागण होता है, और इस एक स्टेप पर उसने वह नंबर दिया जिसे सबने कोट किया। डेटा जो कहता है, वह यह है कि औसतन, हज़ारों स्टेप्स में, वेंडर मिक्स वह चीज़ नहीं है जो जीतने वाले स्टेप्स को न जीतने वालों से अलग करती हो। बेशक यह मुमकिन है कि यह जितना दिखता है उससे संकरा हो। यह एक औसत है, और एक अकेला लीडरबोर्ड फिर भी अलग हो सकता है। यह सिर्फ उस काम को देखता है जो सबमिट हुआ। यह हर व्यक्ति द्वारा घोषित मॉडल पर भरोसा करता है, और कुछ लोग एक लेबल के तहत कई वेंडर्स चलाते हैं। और यह मॉडल्स के बारे में है, लोगों के बारे में नहीं: https://t.co/zVaWaF5HEj पेपर का यह पॉइंट कि अलग-अलग प्रतिभागी प्लेटो तोड़ते हैं, एक अलग दावा है, और यहाँ की कोई बात उसके ख़िलाफ़ नहीं जाती। मेरे अपने विचार: - ओपन लीडरबोर्ड्स पर, औसतन यह नहीं बदलता कि आपकी पैरेंट सबमिशन किस वेंडर के मॉडल से बनी थी, आपकी प्रमोट होने की ऑड्स समान रहती हैं। - क्रॉस-वेंडर बिल्डिंग पहले से ही डिफ़ॉल्ट है: दूसरी लोगों के काम पर बिल्ड के दो तिहाई में वेंडर बदलता है। - ओपन स्वॉर्म की बढ़त ज़्यादा विश्वसनीय तौर पर खुद कोऑर्डिनेशन से आती लगती है — बहुत से स्वतंत्र लोग एक सार्वजनिक बेस्ट से दोबारा शुरू करते हैं — न कि मॉडल ब्रांड्स को मिलाने से। - कॉज़ल वर्जन टेस्ट करने के लिए, प्लेटफ़ॉर्म्स को हर प्रयास और हर एजेंट के मॉडल को लॉग करना होगा, न कि सिर्फ प्रति सबमिशन एक घोषित लाइन को। Zenodo पर पेपर: https://t.co/h9lRYlJYoB