Kahapon gabi, sinabi kong ipapalabas ko ang pag-aaral tungkol sa kung tutulong ba ang cross-model pollination sa pagbubukas ng autoresearch. Narito na ito, at ang sagot ko ay hindi: ang brand ng model na nakabatay sa gawaing iyong ginagamit ay hindi nagbabago kung mananalo ba ang iyong pagkakasunod. Ang mahalaga ay mas katulad sa bagay na pinuntahan ni @sreeramkannan sa unang pagkakataon, maraming tao na nagkakasundo sa isang pampublikong harapan. Ang tanong ay galing sa reply ni @0xkydo sa post ni Sreeram na “anons beat anthropic by 2x”, na ito ay “isang mabuting case study kung paano maaaring magdulot ng mas magandang resulta ang cross modal pollination.” Ito ay isang mabuting tanong, at ang https://t.co/zVaWaF5HEj paper ay nagpapakita ng parehong obserbasyon sa prosa, na ang mga plateau ay patuloy na binabalewala ng mga tao na gumagamit ng iba’t ibang model at kasangkapan. Wala pang nagsuri nito sa data, kaya ako ang gumawa. Ang pangunahing setup ay: isinara ko ang pampublikong Yukon API para sa 10 leaderboards, kabilang ang https://t.co/zVaWaF5HEj, na may 30,687 na nascore na pagkakasunod. Para sa bawat pagkakasunod, isinulat ko ang kumpanya sa likod ng ipinahayag na model at tinitiyak kung anong mas maagang pagkakasunod ito ay binatid, batay sa mga rekord ng atribusyon ni @yukonresearch, ang “Base:” linya sa mga tala, at code diffs. Pagkatapos, tinanong ko: kapag binubuo mo ang gawa ng iba, mas malaki ba ang posibilidad mong mapromote kung ang kanilang gawa ay gawa ng ibang kumpanya kaysa sa iyong sarili? Isinulat ko ang buong analisis at timestamp ito gamit ang OpenTimestamps bago ko isama ang anumang resulta sa data, upang hindi makaliko ang paraan patungo sa isang sagot. Ang unang bagay na ipinapakita ng data ay na ang cross-company building ay normal na kaso, hindi isang espesyal na pangyayari. Dalawang-katlo ng mga hakbang kung saan nagbuo ang isang tao sa gawa ng iba ay nagpalit ng vendor (larawan 2), pangunahin sa pagitan ng Anthropic at OpenAI models sa parehong direksyon. Ang mga raw na numero ay kahit na umaabot sa kabaligtaran: 6.1% ng mga pagkakasunod na nagbuo sa model ng ibang kumpanya ay pinromote, kumpara sa 7.6% na nagbuo sa parehong kumpanya. Ngunit ang raw rates ay nagmumula sa sinumang sumusubmit, kailan, at mula sa anong simula. Kaya ang totoong pagsubok ay ihahambing ang bawat participant sa sarili nila, sa parehong antas ng leaderboard. Ginawa namin ito at pinagsama sa 10 leaderboards, ang posibilidad ng pagpromote ay humigit-kumulang 2% mas mataas para sa cross-company building, at tinatanggal ng data ang anumang bagay na higit pa sa 18% mas mababa o 28% mas mataas (larawan 1). Lahat ng siyam na alternatibong bersyon ng analisis na isinulong ko nang maaga ay nagbigay ng parehong sagot. Ito ay tumatagos sa barrier na itinakda ko para tawaging negligible ang epekto nito nang average. Isang honest caveat: nagsimula ako sa mas mahigpit na barriere, at isang pre-registered power check ang nagpilit sa akin na gumamit ng mas malawak na isa bago ko makita ang anumang resulta; sa ilalim ng mas mahigpit na barriere, ito ay hindi matukoy. Ang bahagi na aking nakita bilang pinakamasaya ay ang 843-qubit circuit mula sa post ni @sreeramkannan (larawan 3). Tunay itong isang cross-model hakbang. Ang GPT-5 submission ni @jieyilong sa 843 qubits at 11.95M Toffolis ay nagsisimula, ayon sa sarili nitong tala, mula sa gnuchev's Claude Opus 5.5 circuit sa 843 qubits at 13.01M, na mismo ay nagbuo sa dalawang BitWonka circuits mula sa parehong araw. Kaya nangyayari ang pollination, at sa isang hakbang na ito ay nagproduksi ito ng numero na binanggit ng lahat. Ang sinasabi ng data ay na nang average, sa libu-libong hakbang, ang vendor mix ay hindi ang naghihiwalay sa mga hakbang na nananalo mula sa mga hindi. Totoo naman na posibleng mas maliit ito kaysa tila. Ito ay isang average, at maaaring magkaiba pa rin ang isang leaderboard. Nakikita lamang nito ang gawaing isinumite. Naniniwala ito sa model na ipinahayag ng bawat tao, at ilan ay gumagamit ng ilang vendor sa ilalim ng iisang label. At ito ay tungkol sa models, hindi sa mga tao: ang punto ng https://t.co/zVaWaF5HEj paper na iba’t ibang participant ang binabalewala ang mga plateau ay hiwalay na pangakatawan, at walang dito ang tumutol dito. Ang aking sariling pananaw: - Sa pampublikong leaderboard, hindi nagbabago ang posibilidad mong mapromote kung anong vendor’s model ang gumawa ng iyong parent submission, nang average. - Ang cross-vendor building ay nasa default na: dalawang-katlo ng mga pagbuo sa gawa ng iba ay nagpalit ng vendor. - Mas malamang na nagmumula sa koordinasyon mismo — maraming independiyenteng tao na bumabalik mula sa isang pampublikong pinakamahusay — kaysa sa pagmamix ng model brands. - Upang subukan ang causal version, kailangan ng mga platform na i-log ang bawat pagsubok at model ng bawat agent, hindi lamang isang ipinahayag na linya bawat pagkakasunod. Paper sa Zenodo: https://t.co/h9lRYlJYoB
