Eski OpenAI Çekirdek Araştırmacısı: İnsan AI Araştırması İki Yıl İçinde Yerini Kaybedebilir

Hey, duydunuz mu?

İnsan araştırmacılarının iyi günleri tam olarak iki yıl kaldı.

İki yıl sonra, insanlar AI araştırması yapmak, bugün insanlar satranç oynamak gibi olacak.

Elbette hâlâ yapabilirsin, ama kimse nasıl yaptığınla ilgilenmiyor.

Bu, eski OpenAI çıkarım modeli lideri Jerry Tworek'in attığı en son şok tez.

2019 yılında OpenAI'ye girdi ve yedi yıl boyunca kaldı. O yıllarda pekiştirmeli öğrenme tamamen ölçeklenemiyordu, ancak o, bunu zorla ileriye taşıyarak sabit kaldı; o1 ve o3 nesli büyük silahlar onun doğrudan liderliğinde geliştirildi.

“AGI oluşturmak istiyoruz.” 2019 yılında OpenAI'e yeni katıldığında, Ilya'nın tüm personel toplantısında sunduğu tek rota haritası buydu. Yedi yıl sonra, kendi başına yola çıktı.

Daha korkutucu olan, bu sözün yalnızca onun tarafından söylenmemesi. Şu anda AI araştırmacıları arasında en popüler dahili bir alay şu:

Son birkaç gün kaldı, şu anda yapabileceğiniz şeyleri yapın, tamamladıktan sonra birlikte emekli olup dinlenmeye başlayın.

Herkes bunu siyah mizah olarak döndürüp duruyor. Ama her şakacı kendi içinde çok iyi biliyor.

Bu şaka, büyük olasılıkla gerçek.

Ve bu sadece bir başlangıçtı. Görüşmenin tamamında, bu tür sert ifadeleri bir ardına diğerini getiriyordu:

• Ajan gerçekten yaratıcıdır, ancak bu, son derece düşük kaliteli, yoğun şekilde biriktirilmiş bir yaratıcılıktır; fikirler çeşitlidir ama genel olarak berbattır.
• Bir ön uç modelini eğitimden dağıtıma kadar gerçek anlamda yöneten insan sayısı muhtemelen otuz ile elliyi geçmez; geri kalan herkes onlara yardımcı olur.
• Transformer'ı en iyi çözüm olarak kabul etmek neredeyse mümkün değildir.
• OpenAI'de geçirdiğim yedi yıl boyunca temel mimariyi değiştirmeye gerçekten ciddi şekilde girişimde bulunulan sayı üç veya dört oldu.
• Dünya, bizim işe gitmemizle dönmek zorunda değil, bu varsayım aslında geçerli değil.

İşte düzenlenmiş versiyon, keyifli kullanımlar.

Bu sayı iki yıl, puanlama ile ilgili değil, hesaplama gücü ile de ilgili değil.

O, bu konuyu araştırırken insanların hâlâ yapmakta olduğu işlerin sayısını sayıyor.

Bu iş daha önce iki parçaya bölünmüştü.

Bir kısmı fikir üretmek, nereye doğru ilerleneceğini netleştirmek. Diğer kısmı ise, bu fikirleri çalışır hale getirmek ve verileri geri almak.

Ve işi yapan bölüm, neredeyse tamamen Agent'e geçti.

Tworek, bu yıl Nisan'da "Core Automation" adında bir şirket kurdu ve sloganı, dünyanın en otomatiklenmiş AI laboratuvarını inşa etmek.

Onlar da bir deneyin tam döngüsü, bir aydan bir güne indirildi. Verimlilik tam olarak 30 kat arttı!

Ancak bu öneriyi veren bölümde, Agent şu anda devralamıyor. Nedeni—

Onlar kesinlikle yüksek yaratıcılığa sahip türlerdir.

Ancak yaratıcılıklarını son derece düşük kalitede ve yoğun bir şekilde harcıyorlar. Fikirler gerçekten çeşitli, ancak genel olarak çok kötü.

Bu şekilde dinlendiğinde, fikir verme kısmı hâlâ stabil gibi.

Aslında gerçek fikir verebilecek birkaç kişi bile kalmamıştı.

Röportajda sunucu, OpenAI içinden bir araştırmacının ona içeriği açıkladığını ortaya koydu—

Dünya çapında bir ön uç modelinin nasıl eğitileceğini ve nasıl dağıtılacağını tamamen anlayabilen kişilerin sayısı muhtemelen otuz ile elliden fazla değildir.

Kalan tüm insanlar, en iyi şirketin çoğu resmi çalışanını da dahil olmak üzere, bu onlarca zekaya hizmet ediyor.

Tworek itiraz etmedi.

O da, herhangi bir üst düzey ekip bunun gibi döndüğünü düşünüyor. Az sayıda kişi yön belirliyor, arkalarında tüm bir gürültülü yürütme makinesi sürüklüyor.

Bu birkaç kişinin ne kadar talep gördüğünü, kendi işe alma listesine bakarak anlayabilirsiniz.

Core Automation'un kurucu ortağı Rohan Anil, Anthropic'ten ve daha önce Google DeepMind'den.

DeepMind'de Gemini üzerinde çalışan Anmol Gulati de çekildi. OpenAI'nin eski insan kaynakları sorumlusu Julia Villagra bile oraya geçti.

Tüm laboratuvarlar aynı havuzdan insanları çekiyor. Ve bu havuzda sadece onlarca balık var.

Yani bu sayı, iki yıl boyunca insanlıkla hiçbir ilgisi yok.

Bu birkaç kişinin daha ne kadar dayanabileceğini söylüyor.

İnsanlar sadece birkaç düzine kaldığında, AI'nın önündeki son duvar nedir?

Tworek'in cevabı sadece bir kelime: Transformer.

Ona göre, bu şey neredeyse en iyi çözüm olamaz.

Öncelikle, model dağıtıldıktan sonra öğrenemiyor. Ne kadar çok konuşursanız konuşun, güçlenmiyor, bir sonraki diyalogda yine aynı model oluyor. Bağlam penceresi de dayanmıyor; kendi kendine Codex ile yirmi dakika kadar çalışıp sonra sıkıştırmak zorunda kalıyor.

İkinci olarak, sürekli ince ayarlarla tamamlamaya çalışırsanız, hem verimsiz olduğunu hem de kritik unutma sorununu göreceksiniz; yeni şeyleri öğrendikçe esneleri unutursunuz.

Bu nedenle son yıllarda endüstri genelinde Transformer üzerinde yapılan büyük çoğunlukta çalışma, onu daha ucuz hale getirmekti; nadiren gerçekten onu daha güçlü hale getirenler oldu.

Ancak Tworek'in gerçekten istediği şey, mimarinin kendisinde değil.

O, test süresi boyunca öğrenmeye devam edebilen, kullanıcı etkileşimlerinden ve kullanıcı verilerinden sürekli büyümeyi sağlayan bir model istiyor. Mimariyi değiştirmek, o şeye ulaşmanın bir aracıdır.

Bu mantık, sektörde kimse anlamaz. Ancak yıllar geçtikçe neden Transformer hâlâ orada sabit duruyor?

Arka plandaki neden, neredeyse denenmemiş olmasından kaynaklanan basit ve biraz tuhaf.

OpenAI'de yedi yıl boyunca temel mimariyi gerçekten değiştirmeye çalışmak üç veya dört kez oldu.

İşlem şu şekildedir.

Araştırmacı önce küçük bir doğrulama deneyi yazar, en az üç ay çalıştırır. Sonuçlar iyi görünüyorsa, ölçeklendirmeye dener.

Büyütme, tam olarak üç inch'lik diliyle yaşam ve ölüm yetkisine sahip on kişiye ikna etmek ve bu on kişinin üç ila altı ay boyunca bu sonsuz çukura yatırım yapması demektir.

Ya Transformer tarafından daha önce kar topu haline getirilen o kinetik enerjiyle ezilecek, ya da kısmen emilerek onun bir vidası haline gelecek.

Yedi yıl, üç dört kez. Bu, dünyanın en güçlü AI laboratuvarının mimari yeniliklerdeki tüm üretkenliğidir.

Jare, bu hesaplama gücünü yak.

Kendi kendine OpenAI'de tam olarak aynı bir çıkmaza girmişti. Ve bunu açan, bir cümle oldu.

O zaman o yarım ölü deneyler, biraz da olsa “yaşam belirtileri” gösterdi. İyiydi diyemeyiz, ama en azından bir başlangıç oldu.

Tam bu sırada, daha sonra OpenAI baş bilim insanı pozisyonuna oturan Jakub Pachocki onu buldu.

Jare, bu tüm GPU'lar senin, elindekileri biraz daha büyük ve daha güçlü hale getirebilir misin?

Şu anda elinizde bu GPU'lar var.” dediğinde, o1'in henüz adı yoktu.

Bu cümleyi bir paradokstan kurtardı—

Sonuçları ortaya koymalısınız, işlem gücü talep etmek için yeterli olursunuz.

Ama önce o hesaplama gücüne sahip olmalısınız ki sonuç alabilesiniz.

Tworek, çoğu ileri düzey yönün bu paradoksta takıldığını söylüyor. Laboratuvarda hesaplama gücü için yaşanan gizli çatışmalar, nihayetinde bir çıkış yolu aramaktadır.

Ancak çıkış, bazen liderlik kadrosunun bir anlık kararıdır. Nokta Nokta Güven.

Yukarıdan biri konuşup, "Sana iyi bir hesaplama kotası verip onu sertçe yapmanı diliyorum" derse, bu yeterlidir.

Kapı açıldıkça, sonrası kontrol edilemez hale geliyor.

Öğrenme, bu noktadan itibaren birkaç sıralık arttı.

Sonra o1'in tüylerini dökmesi, binlerce kişi tarafından ölüm cezasına çarptırılan mantıksal model yolunu, tamamen canlandırdı.

On bin dolar, bir uzmanı karşılıyor

Bu sefer, kimse bir şey söylemeden beklemek zorunda değil.

Zincir üzerinde en çok para harcanan aşama, soyut fikirleri gerçekleştirebilecek kodlara çevirmektir. Ve tam olarak bu, günümüzdeki Agent'ların en iyi yaptığı iş.

Örneğin, Core Automation, bu stratejiyi GPU çekirdeklerini işlemek için kullanmıştı.

Özellikle, bir QR ayrıştırma çekirdeğini programlama aracına dört hafta boyunca çalıştırdılar, yaklaşık on bin dolarlık çağrı maliyeti harcadılar ve nihayet bu çekirdeğin hızını orijinaline göre altmış katına çıkardılar.

Bu iş, temel performans mühendisliğine aittir ve bir matris işlemi nasıl daha hızlı GPU'da çalıştırılacak şekilde ince ayar yapılır. Genellikle çok az sayıdaki uzmanlar satır satır elle ayar yapar.

Ve böyle uzmanlar dünyada birkaç tanedir.

Şimdi on bin dolarla bir tane elde edebilirsiniz. Hem ikna edilmesine gerek yok, hem de üç ila altı ay beklemeye gerek yok.

Yedi yıl boyunca tıkanan bu engel, böylece aşıldı.

En zorlu mimari bile gevşediğine göre, ellere geçen direksiyonlar da uzun süre tutulamaz.

Röportajın sonunda, sunucu bu konuyu açıkça ortaya koyup, bu gün gerçekten geldiğinde insanın ne yapacak şeyi kaldığını sordu.

Bu konuda Tworek, iki resim tanımladı.

İlk resim antik Yunan'dır.

Herkes meydanda toplanır, bütün gün yavaşça felsefe hakkında konuşur, sonra egzersiz yapmaya gider, zeytin yer ve şarap içer.

Kendisi tamamladıktan hemen sonra gülümsedi ve bunun muhtemelen kendi dileklerini yansıttığını kabul etti.

“Karede buluşup sohbet edelim.” Diye, AGI sonrası insan günlük yaşamını tanımladı ve kendisi önce gülümsedi.

İkincisi lise ya da üniversite.

O, insanın "müthişlik" kavramına yönelik bir arzuyu koruması gerektiğini düşünüyor. Yeni şeyleri açgözlüce öğrenmeye, bedenini ve zihnini ölüme kadar zorlamaya devam etmek.

Bu biraz mesleki spor gibi, kan dökmek ve terlemek için hiçbir ekonomik neden yok, ancak insanın içsel gururu, 'büyüklük' adı verilen şeye ulaşmaya zorlar.

Bu işi yapmak için çeşitli yollar bulmalıyız.

Bir sonraki dünyada, "bunu yapmazsan dünya çöker" gibi bir şey daha olmayacak. Dünya, zaten inşa ettiğimiz altyapı üzerinde kendiliğinden ilerlemeye devam edecek.

“Her zaman öğrenmeye devam etmeliyiz.” Dediklerini bir eğlence değil, bir görevmiş gibi anlattı.

Sonra sakin bir şekilde kartlarını açtı.

Dünya'nın işleyebilmesi için çalışmak zorundayız. Bu varsayım, tamamen gerekli değildir.

“Çalışmadan gelen özdeğer, birçok insan için kaynaktır.” Kendisi için bile en zor aşamayı geçmek olduğunu kabul etti.

Gerçekten, tüm sunumu dinledikten sonra en korkutucu olan iki yıl değil.

Kendisinin de farkında olduğunu, bu geri sayım için gaz verdiğini biliyor.

O oluşturmak istediği şey, kendi kendine öğrenip kendi kendine güçlenen bir şeydi, artık yanında oturup beslemeye gerek kalmayacaktı. O oluşturulduğunda, onlarca kişinin pozisyonu daha da hızlıca kaybolacaktı.

Ve daha da sert bir şey daha söylemişti: İlk kararı kendisi verecekti.

Eğer en korkunç hesaplama kapasitesine ve en büyük ölçeğe sahip laboratuvar değilseniz, çok kötü bir şekilde öleceksiniz.

Bu sözler söylenirken Core Automation, dört aydır kuruluydu ve gelirleri sıfırdı.

O, kurumunu kurduğundan beri neredeyse her hafta kimse gelip Jare, çok geç, o gökyüzüne uzanan merdiven zaten kaldırılmış dedi.

Yanıtı sadece kendi mottosuydu.

Şirketimizin insanları en çok şunu söyler: her şey bir beceri sorunu.

Sonunda başarısız olmakla büyük ortamı suçlamayın, tamamen kendi teknik becerinizin yetersizliği yüzünden.

Bu söz, bu röportajda gerçekten o havayı veriyor.

Tekrar baştaki popüler alıntıyı gözden geçirin.

Sadece birkaç gün daha çalışabiliriz, şimdiden yapabildiğiniz kadar çalışın.

Tonun tam olarak ne kadar heyecanlı mı, yoksa ümitsiz mi olduğu bilinmiyor.

Çünkü bu sözleri söyleyen kişi için bu iki duygu zaten aynı şeydi.

Tworek, bu satırın ritminin son derece yorucu olduğunu söyledi; yıllar boyunca bunu yapmak gerçekten çok çok yorucuydu.

Ancak gerçekten inanıyorsak, bu kariyerimiz boyunca en önemli dönem.

O zaman, muhtemelen çok değerli olur.

Kaynaklar:

https://x.com/MTSlive/status/2092387349623935322

Bu yazı, WeChat hesabından "Yeni Akıllı Dünya" tarafından yayınlanmıştır, yazar: ASI Vahiyleri, editör: Musa