OpenAI Araştırmacısı, En Üst Düzey AI Laboratuvarlarının Artık Makaleleri Okumadığını Söylüyor

Ön laboratuvarın insanları neredeyse makale okumuyor mu?

OpenAI'den bir araştırmacı, üç büyük konferansa tek bir cümleyle: "Çok fazla abartı ve sahtekârlık!"

Olay, etkisi açıklanamayacak kadar iyi bir ICLR makalesiyle başladı; internetteki kullanıcılar biraz araştırdıktan sonra aslında "sır"ın ne olduğunu keşfettiler.

Zirve konferanslarında makale yayınlamak artık böyle mi oldu?

Kodun açık kaynak olup olmadığına bakın, deney yöntemlerinde gizli bir hile var mı diye inceleyin, sonra elde edilen sonuçların temel sonucu destekleyip desteklemediğine karar verin—bu adımlarla değerlendirildiğinde, üst düzey makalelerden kaç tanesi sınama karşısında dayanabilir?

Gerçekten de böyle yapanlar var.

Yılın Temmuz ayında, Chicago Üniversitesi Bilgisayar Bilimleri ve Veri Bilimi Doçenti Tan Chenhao'nun ortak kurucusu olduğu SAI, büyük bir "deneysel inceleme" gerçekleştirdi.

Seçilenler, ICML 2026'nın tüm 168 oral makalesidir.

Bu yıl ICML, 23.918 makale gönderimi aldı ve sonunda yalnızca 168 makale Oral hakkı kazandı, bu oran yaklaşık %0,7.

Yani, SAI, 20.000'den fazla gönderi arasından seçilen en üst düzey olanlardır.

SAI Review, geleneksel hakemlerin yaptığı gibi makaleleri, deney tasarımlarını ve sonuçları okumakla kalmaz, aynı zamanda kodu, modeli ve verileri indirir, ortamı yapılandırır, deneyleri çalıştırır ve elde edilen sonuçları makale orijinaliyle sırayla karşılaştırır.

SAI, tüm 168 oral çalışmayı inceledi; bunlardan yalnızca 104'ünün kodu açık kaynaklıydı ve nihayetinde 105 tam tekrar gerçekleştirildi.

Bu arasında yalnızca 34 makale, iddiaların %40'ından fazlasını tekrarladı; %80'den fazla tekrarlanan sadece 8 makale kaldı.

Her makalede en az bir, üç veya beş doğrulanabilir iddia olsun, yeniden üretme puanı medyanı sürekli olarak %28–%30 arasında kalır ve genel dağılım büyük ölçüde değişmez.

Çalıştırılmayan, erken sonlandırılan veya donanım kapasitesini aşan deneyler çıkarıldıktan sonra, tekrarlanabilirlik puanlarının medyanı hâlâ %42–%50 arasında; her makale en az 3 doğrulanabilir iddia içerdiğinde medyan %42 seviyesinde sabitlenmiştir.

En sık karşılaşılan sorunlar şunlardır: kod çalışmayan, dosyaların eksik olduğu, açıklamaların eksik olduğu, bağımlılıkların bozuk olduğu veya kodun ürettiği sonuçların makaleyle uyuşmadığı.

Dört makale daha, artık kapatılmış modellere dayanmaktadır. Sonraki araştırmacılar, para ve zaman harcasa bile, aynı sonucu elde edemezler.

SAI, daha spesifik iki örnek daha sıraladı.

Bir makale, "sadece temel modelin %0,77'si parametre ile eğitildi" ifadesini ana vurgu olarak sunarken, gerçek olarak yayınlanan kontrol noktaları %6,31 parametre ile eğitilmişti, bu da iddia edilen sayıya yaklaşık 8 kat daha fazladır.

Başka bir makale, hakem modeli tarafından verilen puanlamaların güvenilirlik tablosunu gösteriyor, ancak açık kaynak kodlarda bu hakem modeli bulunmuyor ve tablodaki sayıları hesaplayan bir betik de yok.

SAI'nin tekrarlanma sonuçları oldukça kötü diyebiliriz.

Daha da kötüsü, burada bulunan sorunlar sadece "koşullu olarak bulunabilen" sorunlar.

Kodu olmayan makaleler doğrudan "mümkün olmayan" durumdadır.

Code tamamen açık olsa bile, bir makaleyi doğrulamak için harcanan zaman, çaba ve para maliyeti çok büyük olur ve sonuç beklentilerin altında kalır, ne kadar hayal kırıklığına uğranacağı bilinmez.

SAI, Google Cloud'un açıkça belirtilen talep bazlı fiyatlarına dayanarak yaptığı tahminlere göre, bir ICML Oral makalesini tamamen yeniden çalıştırmak için maliyetin medyanı yaklaşık 8.900 ABD dolarıdır. 105 makale arasında 17'si 100.000 ABD dolarını aşmış ve en pahalı makale yaklaşık 2,2 milyon ABD dolarına ulaşmıştır.

Bir makale ne kadar büyük ölçekli hesaplama gücüne dayanıyorsa, bağımsız olarak tekrarlanması o kadar zor olur.

Kod yoksa, başkaları kontrol edemez; kod olsa bile, bu maliyeti ödeyebilecek kimse olmayabilir.

Bu nedenle, sorunlu bir makale tamamen değerlendirme sürecini geçebilir, alıntılarla karşılaşabilir, özgeçmişe eklenebilir ve kabul, akademik pozisyon veya büyük bir laboratuvar iş fırsatları kazandırabilir.

Bazı durumlarda sonuçlar uyumsuz bulunur, toplantılar nadiren yeniden gözden geçirilir ve makaleler mutlaka geri çekilmeyebilir.

Bu, yorum bölümünde bahsedilen “kötü bir araştırma yapmanın getirisi var ama neredeyse hiçbir maliyeti yok” durumu.

Büyük modeller alanında, gerçekten önemli birçok ilerleme artık makaleler şeklinde ortaya çıkmıyor.

OpenAI'nin mühendisi olarak endüstrinin önde olması, bu duyguyu anlamak zor değil. Nihayetinde daha fazla hesaplama gücü, daha hızlı deney geri bildirimleri ve çok sayıda açık olmayan iç sonuçlar var, bu da "makale okumadan" bir güven veriyor.

Ancak bunu söylemek biraz tuhaf.

Bir yorum, teknoloji şirketlerindeki insanların bunu "kıyıya ulaştıktan sonra merdiveni çekmek" olarak nitelendirdi: akademik dünyadan araştırmacıları çekip, akademik çevrede açıkça birikmiş sonuçlar üzerine kurulup, daha yüksek fiyatlarla insanları ve GPU'ları ele geçirip, kendi kendilerine giderek daha az eş değerlendirmeye tabi tutuluyorlar ve nihayetinde akademik araştırmayı "temelde bir dolandırıcılık" olarak ilan ediyorlar.

Biraz sert ama gerçekten mantıklı.

Bu öncü laboratuvarların insanları "makale okumadan" olabilir, ancak girmek isteyenler önce makale göndermelidir.

Sanayi deneyimi olmayan öğrenciler ve genç araştırmacılar için, üst düzey konferans makaleleri hâlâ araştırma yeteneğini kanıtlamanın en doğrudan kanıtıdır.

Doktora başvurmak, akademik pozisyonlar aramak veya OpenAI gibi öncü laboratuvarlara girmek, makalelerle dikkat çekmeye dayanır.

Endüstriyel kişiler büyük laboratuvarlara girdikten sonra makaleleri hafife alır, ancak hala makale sayısı, konferans seviyesi ve alıntı başarıları ile dışarıdakileri seçer.

Tez, bilgi yayımı üzerindeki güvenilirliği sorgulanırken, yetenek rekabetindeki değeri tamamen kaybolmamıştır.

Bu yüzden, "Büyük Laboratuvar artık makale okumuyor" demek biraz daha yüksekbaşlı ve kibirli görünüyor. Çünkü gerçekten makale okumaya gerek olmayan kişiler, genellikle makalelerle o eşiği zaten aştılar.

Elbette, tüm öğrenciler dikkatle planlanmış bir dolandırıcılık yapan akademik kötülükler değildir.

Bir üniversite araştırmacısı, öğrencilerinin zaten abartılı hatta sahte bir makale yazma yetisine sahip olmalarını diler gibi dedi.

Bazıları "akademik sahtekarlık yapma" yarışında, bazıları ise LaTeX ile mücadele ediyor.

Referans bağlantısı:

https://x.com/MathewShen42/status/2084465434506768867

https://x.com/kellerjordan0/status/2084721463089902074

https://sai.science/blog/how-much-science-is-verifiable

https://x.com/mengyer/status/2085134204786921886

Bu yazı, WeChat hesabından "Makine Kalbi" (ID: almosthuman2014) tarafından paylaşılmıştır, yazar: Makine Kalbi