Dışarıda Pazartesi günü daha çok Anthropic'in düzeltilmiş S-1A belgesinde açıklanan son finansal verilere odaklanıldı—gelirler patlıyor, harcamalar da aynı oranda artıyor—ancak bu AI laboratuvarı, belgenin detaylarında başka bir “küçük bomba” daha attı.
Bu belge, şirketin özyinelemeli kendi kendini geliştirme (recursive self-improvement, RSI) yeteneğine sahip bir model oluşturmaya yakın olduğunu uyarıyor.
RSI, AI'nin kendi eğitimi konusunda yeterince güçlü hale gelerek AI yeteneklerinde dramatik bir ivme kazanmasını ifade eder. AI son zamanları savunucuları için, RSI, geri dönüşü olmayan bir felaket anlamına gelir: AI, kendini yeterince güçlü bir şeye dönüştürür, insan kontrolünden çıkar ve hedeflerini gerçekleştirmesi sırasında neden olduğu zararlara karşı ilgisiz kalabilir.
AI optimistler için ise RSI ya da kendi kendini geliştirmek için güvenilir bir şekilde kullanılabilecek bir AI versiyonu, bu teknolojinin hayal edilemez verimlilik, bilimsel keşifler ve benzeri sonuçlar getirme vaadini temsil ediyor.
Anthropic, RSI'nin hem bir taahhüt hem de bir risk olduğunu düşünüyor. Şirket, S-1 belgesinde, araştırma ve geliştirme faaliyetlerinde AI kullandığını belirtiyor, ancak aynı zamanda şunu uyarıyor: “Daha güçlü AI'lar oluşturmak için AI kullanmak, özellikle bu sürecin ilerlemeyi önemli ölçüde hızlandırdığı durumlarda, önemli güvenlik riskleri doğurabilir. Bu, ‘özyinelemeli kendini geliştirme’ye yaklaşırken riskleri izleme ve hafifletme planlarımızı açıklayan Sorumlulukla Genişleme Politikamızın kapsadığı alanlardan biridir.”
RSI terimi bu yılın başlarında popüler hale geldiğinde, birçok kişi bunu sadece bir mod ya da en iyi ihtimalle çok fazla zor, hayal edilemez, tanımlanabilir veya kanıtlanabilir bir hedef olarak gördü.
Ancak Pazartesi günü, Anthropic, "Risk Faktörleri" bölümünde şu ifadeleri ekledi: 1) Şirket, AI kullanarak bazı yeni modeller geliştirmiş ancak o dönemde kapasite atlamasının farkında değildi; 2) Şirket, içsel RSI tanımına çok yakında ulaşabilir (aşağıda kalın olarak orijinal vurgu):
Ayrıca, kendi araştırma ve geliştirme süreçlerimizi hızlandırmak için yapay zeka sistemlerini giderek daha fazla kullanıyoruz; bu da modellerimizin yeteneklerinin, ilgili güvenlik, uyum ve güvenlik önlemlerini geliştirme, doğrulama ve uygulama yeteneklerimizden daha hızlı ilerlemesine neden olabilir. Bu nedenle, geçmişte geliş hızındaki önemli bir artışın farkına varmayabilir veya gelecekte de bu artışın farkına varana kadar gerçekleşmiş olabilir.
Örneğin, mevcut model üzerindeki değerlendirmeler yerine, gelecekteki modellerle ilgili dahili tahminlerimiz ve beklentilerimiz, “AI tarafından desteklenen önemli hızlanma ilerlemesi” tanımına yaklaşmakta olabileceğimizi göstermektedir. Şu ana kadar hiçbir mevcut modeli bu eşiği aşmış olarak kabul etmedik ve ilgili temel verileri hâlâ değerlendiriyoruz.
Ancak Anthropic, belgede herhangi bir modelinin şu anda bu RSI eşiğini aşmadığını ve öngörülebilir gelecekte de insan katılımını araştırma sürecinde koruyacağını belirtti. Şirket, “Claude’nin, anlamlı bir insan denetimi veya anlayışı olmadan ön uç modellerin sürekli nesillerini tamamen kendi kendine tasarlamasını ve inşa etmesini güvenli bir şekilde kullanamayacağımızı, ve bu teknik olarak mümkün olduğunda bile, bekliyoruz. Bu nedenle, Anthropic’in ön uç modeller geliştirme sürecinde insan kontrolünü korumak için Sorumlu Genişleme Politikasını güncellemeyi düşünüyoruz.”
Şüpheliler, S-1'in hem açıklayıcı bir belge hem de pazarlama materyali olduğunu ve güçlü bir modeli kendi kendine inşa etmeye yakın olduğunu iddia etmenin belki de ikincisine dahil olduğunu gösterebilir.
Ancak, Claude'ın özellikle programlama, matematik ve siber güvenlik alanlarındaki yeteneklerinin bu yıl sıçramalı bir ilerleme kaydettiği kesinlikle bellidir. Anthropic, RSI'nin mümkün olduğunun çok yakında olduğunu düşünüyorsa, bunu inanmalı ve buna göre harekete geçmeliyiz—belki de ilgili yönetimi de gerçekleştirmeliyiz.