Semalam saya berkata bahawa saya akan mengeluarkan kajian mengenai sama ada penyerbukan silang model benar-benar membantu membuka autoresearch. Di sini ia adalah, dan jawapan saya ialah tidak: jenama model di belakang kerja yang anda bangunkan tidak mengubah sama ada penghantaran anda menang. Apa yang penting kelihatan lebih seperti perkara yang ditunjukkan oleh @sreeramkannan pada awalnya, ramai orang berkoordinasi pada satu had awam. Soalan ini datang daripada jawapan @0xkydo kepada posting Sreeram "anons mengalahkan Anthropic sebanyak 2x", yang menyatakan ini sebagai "kes kajian yang baik tentang bagaimana penyerbukan silang modality mungkin menghasilkan keputusan yang lebih baik." Ia adalah soalan yang baik, dan kertas https://t.co/zVaWaF5HEj membuat pemerhatian serupa dalam bentuk prosa, bahawa dataran terus dipecahkan oleh orang-orang yang menggunakan model dan alat yang berbeza. Tiada siapa pun memeriksa ia dengan data, jadi saya lakukan. Tata letak asasnya adalah: saya membekukan API Yukon awam untuk 10 papan pemimpin, termasuk https://t.co/zVaWaF5HEj, yang merupakan 30,687 penghantaran yang dinilai. Untuk setiap penghantaran, saya merekodkan syarikat di belakang model yang dinyatakan dan mengira penghantaran awal mana yang ia bangunkan, daripada rekod atribusi @yukonresearch, baris "Base:" dalam nota, dan perbezaan kod. Kemudian saya bertanya: apabila anda membina atas kerja orang lain, adakah anda lebih cenderung dipromosikan jika kerja mereka dibuat dengan model syarikat yang berbeza daripada anda? Saya menulis keseluruhan analisis ini dan menandakan masa dengan OpenTimestamps sebelum menggabungkan sebarang hasil dengan data, supaya kaedah tidak boleh berubah mengikut jawapan. Perkara pertama yang ditunjukkan oleh data ialah bahawa pembinaan silang syarikat adalah kes biasa, bukan peristiwa istimewa. Dua pertiga langkah di mana seseorang membina atas kerja orang lain menukar pembekal (gambar 2), kebanyakannya antara model Anthropic dan OpenAI dalam kedua-dua arah. Nombor mentah bahkan cenderung ke arah yang bertentangan: 6.1% penghantaran yang membina atas model syarikat lain dipromosikan, berbanding 7.6% yang membina atas model syarikat yang sama. Tetapi kadar mentah mencampurkan siapa yang menghantar, bila, dan dari titik permulaan apa. Jadi ujian sebenar membandingkan setiap peserta dengan dirinya sendiri, pada peringkat yang sama di papan pemimpin. Dilakukan begitu dan digabungkan di seluruh 10 papan pemimpin, kebarangkalian promosi adalah sekitar 2% lebih tinggi untuk pembinaan silang syarikat, dan data menolak apa-apa melebihi kira-kira 18% lebih rendah atau 28% lebih tinggi (gambar 1). Kesembilan versi alternatif analisis yang saya tetapkan terlebih dahulu memberikan jawapan yang sama. Ini melepasi sempadan yang saya tetapkan untuk menyebut kesan ini sebagai boleh diabaikan secara purata. Satu peringatan jujur: saya bermula dengan sempadan yang lebih ketat, dan pemeriksaan kuasa pra-didaftarkan mendorong saya kepada sempadan yang lebih luas sebelum saya melihat sebarang hasil; di bawah sempadan yang lebih ketat, ini akan tetap tidak pasti. Bahagian yang paling saya nikmati ialah litar 843-qubit daripada posting @sreeramkannan (gambar 3). Ia benar-benar satu langkah silang model. Penghantaran GPT-5 @jieyilong pada 843 qubit dan 11.95M Toffolis bermula, menurut nota sendiri, daripada litar Claude Opus 5.5 gnuchev pada 843 qubit dan 13.01M, yang sendiri membina atas dua litar BitWonka dari hari yang sama. Jadi penyerbukan berlaku, dan pada satu langkah ini ia menghasilkan nombor yang semua orang petik. Apa yang dikatakan data ialah bahawa secara purata, di ribuan langkah, campuran pembekal bukanlah apa yang membezakan langkah-langkah yang menang daripada yang tidak. Tentu sahaja adalah mungkin bahawa ini lebih sempit daripada kelihatan. Ia adalah purata, dan satu papan pemimpin tunggal masih boleh berbeza. Ia hanya melihat kerja yang telah dihantar. Ia mempercayai model yang dinyatakan oleh setiap orang, dan sesetengah orang menjalankan beberapa pembekal di bawah satu label. Dan ia tentang model, bukan orang: titik kertas https://t.co/zVaWaF5HEj bahawa peserta berbeza memecahkan dataran adalah tuntutan berasingan, dan tiada apa-apa di sini bertentangan dengannya. , pandangan saya sendiri: - Di papan pemimpin awam, jenama model yang membuat penghantaran induk anda tidak mengubah kebarangkalian anda dipromosikan, secara purata. - Pembinaan silang pembekal sudah menjadi laluan biasa: dua pertiga pembinaan atas kerja orang lain menukar pembekal. - Kelebihan sarang awam lebih munasabah datang daripada koordinasi itu sendiri, ramai orang bebas bermula semula dari satu terbaik awam, berbanding mencampur jenama model. - Untuk menguji versi sebab-akibat, platform perlu merekod setiap cubaan dan model setiap agen, bukan hanya satu baris dinyatakan setiap penghantaran. Kertas di Zenodo: https://t.co/h9lRYlJYoB