Dün gece, çapraz model polinizasyonun gerçekten açık otoresearch'i destekleyip desteklemediğini inceleyen çalışmayı yayınlayacağımı söylemiştim. İşte burada, cevabım hayır: Üzerinde çalıştığınız işin arkasındaki modelin markası, gönderiminizin kazanıp kazanmadığını değiştirmez. Önemli olan, ilk başta @sreeramkannan 'ın işaret ettiği şey gibi görünüyor: birçok kişinin bir ortak ön frontier üzerinde koordine olması. Soru, @0xkydo 'nun Sreeram'ın "anons, Anthropic'ı 2 katıyla geçti" gönderisine verdiği yanıtta ortaya çıktı: bu, "çapraz modal polinizasyonun daha iyi sonuçlar üretme potansiyelini gösteren iyi bir vaka çalışması." Bu iyi bir soru, ve https://t.co/zVaWaF5HEj makalesi de benzer bir gözlemi metinle yapıyor: platoalar, farklı modeller ve araçlar kullanan kişiler tarafından sürekli kırılıyordu. Kimse bunu verilerle kontrol etmemişti, ben yaptım. Temel yapı şu: 30.687 puanlanmış gönderi içeren https://t.co/zVaWaF5HEj dahil olmak üzere 10 liderlik tablosu için public Yukon API'sini dondurdum. Her gönderi için, ilan edilen modelin arkasındaki şirketi kaydettim ve @yukonresearch 'in atıf kayıtlarından, notlardaki "Base:" satırından ve kod farklarından hangi önceki gönderi üzerine inşa edildiğini belirledim. Sonra sordum: Başkasının çalışması üzerine inşa ederken, onların çalışmasının sizinkinden farklı bir şirketin modeliyle yapılmış olması, senin ilerlemeni daha olası hale getirir mi? Tüm analizi yazdım ve verilere herhangi bir sonuç eklemeden önce OpenTimestamps ile zaman damgası koydum, böylece yöntem sonuca doğru kaymazdı. Verilerin ilk gösterdiği şey, çapraz şirket inşasının özel bir olay değil, normal durum olduğudur. Kimse başka birinin çalışması üzerine inşa ederken, iki üçlükte şirket değiştiriyor (resim 2), çoğunlukla Anthropic ve OpenAI modelleri arasında her iki yönde de. Ham sayılar bile hafifçe diğer yöne eğilimli: Başka bir şirketin modeli üzerine inşa edilen gönderilerin %6,1’i ilerletildi, aynı şirketten gelen üzerine inşa edilenlerin ise %7,6’sı. Ancak ham oranlar, kimin ne zaman ve hangi başlangıç noktasından gönderdiğini karıştırıyor. Bu yüzden gerçek test, her katılımcıyı kendi içinde, aynı liderlik tablosu aşamasında karşılaştırıyor. Bu şekilde yapıldığında ve 10 liderlik tablosu boyunca birleştirildiğinde, çapraz şirket inşasının ilerletme şansı yaklaşık %2 daha yüksek; veriler ise bu etkinin %18 daha düşük veya %28 daha yüksek olma ihtimalini dışlıyor (resim 1). Önceden sabitlediğim dokuz alternatif analiz versiyonu hepsi aynı sonucu verdi. Bu, etkinin ortalama olarak önemsiz olduğunu söylemek için koyduğum barajı aşıyor. Bir dürüst uyarı: Başlangıçta daha katı bir barajla başladım ve önceden kaydedilmiş güç kontrolü, sonuçları görmeden önce daha geniş bir baraja geçirmemi zorladı; daha katı barajda bu durum kararsız kalırdı. Bulduğum en eğlenceli kısım, @sreeramkannan 'ın gönderisindeki 843-qubit devresidir (resim 3). Gerçekten de bir çapraz model adımı. @jieyilong 'un 843 qubit ve 11,95M Toffoli ile GPT-5 gönderisi, kendi notuna göre, aynı günde gnuchev'in 843 qubit ve 13,01M Claude Opus 5.5 devresinden başlıyor; bu da iki BitWonka devresinden türemiş. Yani polinizasyon gerçekleşiyor ve bu tek adımda herkesin alıntıladığı sayı ortaya çıkıyor. Veriler ise binlerce adımda ortalama olarak, şirket karışımının kazanan adımları kazanmayanlardan ayıran şey olmadığını söylüyor. Elbette bu durum görünenden daha dar olabilir. Bu bir ortalama; tek bir liderlik tablosu hâlâ farklı olabilir. Sadece gönderilen çalışmaları görüyor. Her kişinin ilan ettiği modeli güveniyor ve bazı kişiler birden fazla şirketi tek bir etiket altında kullanıyor. Ve bu modellerle ilgili; https://t.co/zVaWaF5HEj makalesinin farklı katılımcıların platoaları kırması noktası ayrı bir iddia ve burada bununla çelişen hiçbir şey yok. Kendi görüşlerim: - Açık liderlik tablolarında, atanan gönderinin hangi şirketin modeliyle yapıldığı, ortalama olarak ilerlemenizin şansını değiştirmez. - Çapraz şirket inşası zaten varsayılan durum: diğer insanların çalışmalarına inşa edenlerin üçte ikisi şirket değiştiriyor. - Açık sürünün üstünlüğü daha olası şekilde, model markalarını karıştırmaktan ziyade koordinasyon kendisinden geliyor: birçok bağımsız kişi bir ortak en iyi noktadan yeniden başlıyor. - Kausal versiyonu test etmek için platformlar, her girişimi ve her ajanın modelini kaydetmeli; sadece her gönderide bir ilan satırı yeterli değil. Zenodo'daki makale: https://t.co/h9lRYlJYoB
