Tadi malam saya mengatakan akan merilis studi tentang apakah polinasi silang model benar-benar membantu membuka autoresearch. Ini dia, dan jawaban saya adalah tidak: merek model di balik karya yang menjadi dasar pekerjaan Anda tidak mengubah apakah submisi Anda menang. Yang penting tampaknya lebih mirip dengan hal yang pertama kali ditunjukkan oleh @sreeramkannan, yaitu banyak orang yang berkoordinasi pada satu frontier publik. Pertanyaan ini muncul dari balasan @0xkydo terhadap postingan Sreeram "anons mengalahkan anthropic 2x", yang menyebutnya sebagai "studi kasus yang baik tentang bagaimana polinasi silang modalitas mungkin menghasilkan hasil yang lebih baik." Ini adalah pertanyaan yang bagus, dan paper https://t.co/zVaWaF5HEj membuat pengamatan serupa dalam bentuk narasi, bahwa plateau terus-menerus dipecahkan oleh orang-orang yang menggunakan model dan alat yang berbeda. Tidak ada yang memeriksanya terhadap data, jadi saya melakukannya. Setup dasarnya adalah: saya membekukan API Yukon publik untuk 10 leaderboard, termasuk https://t.co/zVaWaF5HEj, yang mencakup 30.687 submisi yang dinilai. Untuk setiap submisi, saya mencatat perusahaan di balik model yang dinyatakan dan menentukan submisi sebelumnya yang menjadi dasarnya, dari catatan atribusi @yukonresearch, baris "Base:" di catatan, dan perbedaan kode. Lalu saya bertanya: ketika Anda membangun di atas karya orang lain, apakah Anda lebih mungkin dipromosikan jika karya mereka dibuat dengan model perusahaan yang berbeda dari milik Anda? Saya menuliskan seluruh analisis ini dan menandatanganinya dengan OpenTimestamps sebelum menghubungkan hasil apa pun ke data, sehingga metode tidak bisa berubah menuju jawaban tertentu. Hal pertama yang ditunjukkan data adalah bahwa membangun lintas-perusahaan adalah kasus normal, bukan kejadian istimewa. Dua pertiga dari langkah-langkah di mana seseorang membangun di atas karya orang lain berganti vendor (gambar 2), sebagian besar antara model Anthropic dan OpenAI dalam kedua arah. Angka mentah bahkan sedikit condong ke arah sebaliknya: 6,1% submisi yang membangun di atas model perusahaan lain dipromosikan, dibandingkan 7,6% yang membangun di atas model perusahaan yang sama. Namun tingkat mentah mencampuradukkan siapa yang mengirim, kapan, dan dari titik awal apa. Jadi uji sebenarnya membandingkan setiap peserta dengan dirinya sendiri, pada tahap yang sama di leaderboard. Dilakukan cara itu dan digabungkan di seluruh 10 leaderboard, peluang dipromosikan sekitar 2% lebih tinggi untuk membangun lintas-perusahaan, dan data menolak segala sesuatu di luar sekitar 18% lebih rendah atau 28% lebih tinggi (gambar 1). Kesembilan versi alternatif analisis yang saya tetapkan sebelumnya memberikan jawaban yang sama. Ini melewati batas yang saya tetapkan untuk menyebut efeknya dapat diabaikan secara rata-rata. Satu catatan jujur: saya mulai dengan batas yang lebih ketat, dan pemeriksaan daya pra-pendaftaran mendorong saya ke batas yang lebih luas sebelum saya melihat hasil apa pun; di bawah batas yang lebih ketat, hasilnya akan tetap tidak pasti. Bagian yang paling saya sukai adalah sirkuit 843-qubit dari postingan @sreeramkannan (gambar 3). Ini benar-benar merupakan langkah lintas-model. Submisi GPT-5 @jieyilong pada 843 qubit dan 11,95M Toffolis dimulai, menurut catatannya sendiri, dari sirkuit Claude Opus 5.5 gnuchev pada 843 qubit dan 13,01M, yang sendiri membangun di atas dua sirkuit BitWonka dari hari yang sama. Jadi polinasi terjadi, dan pada langkah ini saja ia menghasilkan angka yang dikutip semua orang. Yang dikatakan data adalah bahwa secara rata-rata, di ribuan langkah, campuran vendor bukanlah apa yang memisahkan langkah-langkah yang menang dari yang tidak. Tentu saja mungkin saja ini lebih sempit daripada kelihatannya. Ini adalah rata-rata, dan satu leaderboard masih bisa berbeda. Ini hanya melihat pekerjaan yang disubmit. Ini mempercayai model yang dinyatakan setiap orang, dan beberapa orang menjalankan beberapa vendor di bawah satu label. Dan ini tentang model, bukan orang: poin paper https://t.co/zVaWaF5HEj bahwa peserta berbeda memecahkan plateau adalah klaim terpisah, dan tidak ada dalam hal ini yang membantahnya. Pandangan saya sendiri: - Di leaderboard terbuka, model vendor mana yang membuat submisi induk Anda tidak mengubah peluang Anda untuk dipromosikan, secara rata-rata. - Membangun lintas-vendor sudah menjadi aturan baku: dua pertiga dari pembangunan terhadap karya orang lain berganti vendor. - Keunggulan swarm terbuka lebih masuk akal berasal dari koordinasi itu sendiri, banyak orang independen yang memulai ulang dari satu hasil publik terbaik, daripada pencampuran merek model. - Untuk menguji versi kausal, platform perlu mencatat setiap upaya dan model setiap agen, bukan hanya satu baris deklarasi per submisi. Paper di Zenodo: https://t.co/h9lRYlJYoB