Öncü Yapay Zeka Araştırmacıları, Yapay Zeka ile Yapay Zeka Geliştirme Konusunda İncelemeler Yürüyor

AI'nin kendisi için bir sonraki nesil AI geliştirmesi nasıl sağlanır?

Yazar ve kaynak: WeChat hesabı "APPSO"

Bir Çinli AI mühendisi, teknik becerileri güçlü, özgeçmişi görkemli ve Pekin Üniversitesi gibi en üst düzey bir üniversiteden mezun olmuşsa, o kişi her şeyi yapabilir, ancak asla çalışmadan olamaz.

Sağlık ve yaşamın "en önemli hizmet uyumu" olduğu nedenle Thinking Machines Lab'den ayrılan翁荔, hemen ardından OpenAI'ye geri döndüğü duyuruldu. Şirket sözcüsü, onun, AI'nın kendi sonraki nesil modellerini eğitmeye ve geliştirmeye dahil olduğu "özyinelemeli kendi kendini geliştirme" arayışına katılan bir ekibi yöneteceğini açıkladı.

Aynı şekilde, eski bir meslektaşı ve eski OpenAI çekirdek üyesi Ilya Sutskever’in kurduğu Safe Superintelligence de nihayet gizli araştırmalarından bir yarık açtı. NVIDIA, nadir bir iç araştırma erişimi elde ettikten sonra SSI’ye yatırım yapmaya karar verdi ve yeni nesil Vera Rubin sistemini kullanarak hesaplama gücünü bir basamak artırdı.

NVIDIA, SSI'nin son iki yıldır mevcut büyük modeller yolundan farklı bir araştırma yönüne ilerlediğine inanıyor. Ilya, bununla ilgili daha fazla bilgi vermedi ve sadece şunu söyledi: "Ölçeklendirmeye değer bir araştırma yapıyoruz."

Merakı artan kalabalık, açık ipuçlarına yönelik bir ters analiz yayınladı ve SSI'nin daha büyük bir ön eğitim formülünü değil, bir modelin eğitimi tamamlandıktan sonra statik kalması yerine geri bildirim, deneyler ve sürekli öğrenmeyle sürekli daha güçlü bir sonraki nesil üretmesini hedeflediğini öne sürdü.

Bu yargı SSI tarafından onaylanmamıştır, ancak Ilya'nın geçmişteki savunmalarıyla yüksek oranda uyumludur. Daha önce birçok kez, yalnızca daha fazla veri ve hesaplama gücüne dayalı ölçeklendirme döneminin sınırına yaklaştığını, AI'nın insanlar gibi daha az deneyimle daha derin bir anlayış geliştirmeyi ve çevresiyle etkileşimde büyümeyi yeniden öğrenmesi gerektiğini ifade etmişti.

Bu zaten büyük başarılar elde etmiş önde gelen AI uzmanları, görünüşe göre aynı yöne bakıyor: AI'nın kendileri için bir sonraki nesil AI'yi nasıl geliştireceğini.

Özyinelemeli kendi kendini geliştirme söz konusu olduğunda, bir bilgisayar yapay zekasının kendi eksikliklerini fark edip doğrudan sinir ağı ağırlıklarını değiştirip, uyanınca dünkinden on kat daha akıllı olmuş gibi bir bilim kurgu sahnesi akla gelir.

Gerçek dünyada başlangıç çok daha sade olur. AI geliştirimi, sürekli döngü halinde bir üretim hattıdır: araştırmacılar makaleleri ve deney kayıtlarını okur, bir hipotez geliştirir, eğitim kodlarını düzenler, deneyleri çalıştırmak için sıraya girer, sonuçlar çıkınca metrikleri karşılaştırır, başarısızlık nedenlerini bulur ve bir sonraki planı tasarlar.

Bugünün büyük modelleri, birçok aşamaya dahil olabiliyor; kod kütüphanelerini okuyabiliyor, makaleleri yeniden üretiyor, deney senaryoları yazabiliyor, hesaplama gücü çağırarak testleri çalıştırabiliyor, onlarca sonuçları düzenleyebiliyor, hangi parametrenin sorunlu olabileceğini analiz edebiliyor ve ardından kodu düzeltmeye devam edebiliyor. Geçmişte bir ekip birkaç gün içinde bir döngüyü tamamlarken, gelecekte birçok akıllı ajan paralel olarak onlarca yol deneyebilir ve en umut verici sonuçları insanlar için değerlendirmeye sunabilir.

Çalışma başlangıcında, Weng Li, Temmuz ayı başlarında yayımladığı uzun makale olan “Kendini Geliştirmek için Harness Mühendisliği”nde, yakında sorumlu olacağı araştırma yönünü neredeyse önceden tahmin etmişti. O, son zamanlarda en gerçekçi kendini geliştirme yolunun, modelin doğrudan beyni yeniden yazması değil, AI’nın önce kendi çalışma ortamını değiştirmeyi öğrenmesi olduğunu düşünüyor: başarısızlık kayıtlarını otomatik olarak analiz etmek, bağlam yönetimi, araç çağrısı ve iş akışını ayarlamak ve ardından yeni deney sonuçlarıyla bu sistemi sürekli iyileştirmek. Daha olgun bir harness, otomatik araştırmayı ilerletebilir; daha güçlü modeller ise harness’ı daha basit hale getirebilir ve ikisi arasında bir döngü oluşur.

Bu, Wang Li ve Ilya'nın iki yolunun ilginç bir paralellik oluşturmasına neden oluyor: OpenAI, mevcut araştırma süreçlerini adım adım AI'ye devrediyor, böylece AI önce çalışır hale gelen bir araştırmacı mühendisi oluyor; SSI ise daha temel düzeyde yeni bir öğrenme paradigmaları arıyor ve modelin kendisine sürekli olarak yeniden düzenlenebilme ve gelişebilme yeteneği kazandırıyor.

Yapay zeka, baştan itibaren kendi ağırlıklarını doğrudan değiştirebilme yetisine sahip olmak zorunda değildir. Eğitim sürecini iyileştirebilir, veri seçebilir, değerlendirme yöntemleri tasarlayabilir veya modelin dışındaki harness'leri optimize edebiliyorsa, zaten kendi yerini alacak varlığı oluşturuyor demektir.

İlki mühendislik döngüsü içine doğru, ikincisi model mekanizması dışına doğru ilerler; her ikisinin amacı da bir nesil AI ile bir sonraki nesil AI arasındaki mesafeyi kısaltmaktır.

Büyük öküzlerin bu yolu hızlandırmak istediğini düşünürken, sektör içinde başka bir ses yükseldi.

Bu hafta, OpenAI, Anthropic, Google, Meta gibi şirketlerden 1100'den fazla profesyonel, "otomatikleştirilmiş AI araştırmasının" hızını kontrol edebilecek teknolojiler ve koordinasyon araçlarının erken kurulmasını talep eden bir bildiri imzaladı. Katılımcılar arasında OpenAI baş bilim insanı Jakub Pachocki, Anthropic ortak kurucuları Jack Clark ve Jared Kaplan gibi üst düzey araştırmacılar — ve Ilya'nın kendisi yer alıyor.

Petisyonda, AI araştırmasının durdurulması istenmiyor ve kendini geliştirmenin getirdiği değerler inkar edilmiyor. Petisyonda, AI'nın AI geliştirme hızını önemli ölçüde artırması durumunda, yetenek artışı insanların sistemleri anlama ve kontrol etme hızını aşabilir diye endişe ediliyor.

Düşünce derinleştirildiğinde, bu "çıkarımsal çelişki" gibi görünen salınım, aynı gruplardan, hatta aynı kişiden kaynaklanmaktadır. Aynı anda, iki farklı değerlendirme yapılabilir: Otomasyonlu araştırmaların, yapay zekânın bir sonraki sıçramasının anahtarı olduğuna inanıyorlar; aynı zamanda, bu geri bildirim döngüsü gerçekten işleymeye başladığında, sektörün gerekli olduğunda yavaşlatma yeteneğine sahip olması gerektiğine de inanıyorlar.

Bu döngü bir kez oluştuğunda, geçmişte daha güçlü bir model yayınlamakla çok farklıdır. Geçmişteki ilerleme hızı nihayetinde insan araştırmacı takımlarına bağlıydı. İnsanlar sorular ortaya koymalı, deneyleri düzenlemeli, sonuçları değerlendirmeliydi ve ilerleme bütçeleri, insan kaynakları ve organizasyonel süreçler nedeniyle durabilirdi.

Otomatikleştirilmiş AI geliştirimin hedefi, bu darboğazları adım adım kaldırmaktır. Model ne kadar güçlü olursa, ekibin bir sonraki nesil modeli daha hızlı oluşturmasına o kadar çok yardımcı olur; bir sonraki nesil model, daha iyi bir araştırmacı olarak bir sonraki geliştirme döngüsünü daha da kısaltır.

Bu nedenle, görünüşte çelişkili gibi görünen iki kuvvet, aslında aynı öncülü paylaşır: otomatikleştirilmiş AI araştırması, uzak bir hayale dönüşmek yerine somut bir mühendislik hedefi haline gelmektedir.

Weng, OpenAI'ye geri döndü; bu, rekürsif kendi kendini geliştirme sürecinin artık özel bir organizasyon ve sorumluyla yönetilmeye başlandığını gösteriyor; NVIDIA, SSI'nin gizli araştırmalarını inceledikten sonra devasa finansal kaynaklar ve en yeni hesaplama gücü yatırımlarına hazır olduğunu açıkladı; bu da yeni öğrenme yolunun en azından genişletilmiş doğrulama aşamasına ulaştığını gösteriyor.

Müracaat edenler, bu rotanın başarısız olacağını düşünerek fren hazırlamıyorlar; tam tersine, başarıldığında ne olacağını ciddiye almaya başladıkları için hazırlık yapıyorlar.

Gerçek ayrım, AI'nın insanlara araştırma yapmada yardımcı olup olmaması değildir. Kod üretimi, makale arama ve deney otomasyonu zaten laboratuvarlara girmiştir. Gerçek ayrım, AI'nın bir araştırmacının verimliliğini artıran bir araçtan, kendi kendine çözüm öneren, deneyleri çalıştıran, sonuçları değerlendiren ve bir sonraki döngüyü düzenleyen bir araştırma sistemi haline geldiğinde, insanların hangi noktalarda karar verme hakkını koruması gerektiğidir.

Bu, tartışılmak zorunda olan bir dizi soru anlamına gelir: Kim bu optimizasyonun hedefini belirleyecek? Görünüşte puanı artıran bir değişikliğin güvenlik sınırını bozup bozmadığını kim değerlendirecek? Birden fazla laboratuvar rekabet halindeyken, hangi şirket tek başına geçerli bir iterasyonu durdurmayı kabul edecek? Eğer model geliştirme döngüsü gerçekten bir yıldan aylara, haftalara indirildiyse, dışsal değerlendirme ve iç güvenlik ekibi hâlâ bu değişimle uyum sağlayabilecek mi?

Yapay zeka şirketleri artık sadece popüler modeller oluşturmakla değil, daha güçlü modelleri sürekli olarak üretmek için bir araştırma ve geliştirme sistemi kazanmakla uğraşıyorlar.

Bir tarafta, Ilya ve Weng Li gibi önde gelen araştırmacılar, AI'nın kendi evrimine katılması için yeni bir iterasyon yöntemi bulmak istiyor; diğer tarafta, aynı sektörde binlerce araştırmacı, bir yavaşlatma mekanizmasının önceden hazırlanmasını talep ediyor. İki tutum arasında kanatlar sürekli değişiyor ve tutumlar doğrudan çatışmıyor; herkes aynı bir sorunla karşı karşıya: araştırma araçları kendi araştırmasını hızlandırmaya başladığında, hangi nesil AI'nın ne zaman gelmesi gerektiğine kim karar verecek?