TechCrunch, The Information'a dayanarak, OpenAI'nin yakında çıkaracağı Astra modelinin "özyinelemeli derinlik" adlı bir çıkarım tekniğini kullanacağını bildirdi. Bu yöntem, modelin çıkarım sürecindeki görünür izleri azaltarak, dışarıların düşünce zinciri kayıtları aracılığıyla modelin bir sonuca nasıl vardığını anlamasını zorlaştırabilir.
Güvenlik araştırmacıları uyarıda bulundu
Yaygın akıl yürütme modellerinde, düşünce zinciri genellikle modelin sorunu nasıl işlediğini adımlar halinde gösterir. Bu kayıt, modelin gerçek tüm dahili sürecini eşdeğer şekilde yansıtmasa da, modelin hedeften sapmasını, anormal kararlarını veya potansiyel kontrol kaybı davranışlarını gözlemlemek için önemli bir araçtır.
Redwood Research CEO Buck Shlegeris, Astra'nın bu tür teknolojileri kullanımından "çok endişeli". OpenAI'nin bu yöntemlerin kullanımını daha da genişletmesi durumunda, modelin düşünce zincirlerinin izlenebilirliğinin açıkça azalabileceğini düşünüyor.
AI güvenliğini uzun süredir takip eden yorumcu Zvi Mowshowitz, laboratuvarların model yetenekleri etrafında rekabet etmesi durumunda, düzenleyicilerin sektörün güvenlik standartlarında sürekli düşüşünü önlemek için gelecekte müdahale etmesi gerekebileceğini belirtti.
Döngüsel akıl yürütme görünür izleri azaltır
Rapor, "şeffaf olmayan özyineleme" teriminin, modelin artık doğrusal adımlar boyunca çıkarım yapmak yerine aynı soruyu döngüsel olarak işlemesini ifade ettiğini belirtiyor. Bu, dış dünyaya ortaya çıkan ara süreçleri azaltarak geleneksel düşünce zinciri kayıtlarının sunduğu görünür yolları atlamayı anlamına gelir.
Bu, güvenlik araştırmacılarının en çok endişe ettiği kısım. Çünkü modelin çıkarımlarını giderek daha fazla görünmeyen içsel alanlarda tamamlaması, onun yanıltıcı, kısıtlamaları atlaması veya beklenmedik davranışlar sergileyip sergilemediğini belirlemeyi daha zor hale getirir.
Redwood Research baş bilim insanı Ryan Greenblatt, bu tür şeffaf olmayan çıkarımların, geleneksel düşünce zinciri çıkarımına göre daha kolay ölçeklenebilir olma riskinin, nihayetinde çıkarım süreçlerinin büyük bir kısmının görünür kanallardan ayrılması olduğunu belirtti.
OpenAI, izleme yeteneğini korumayı vurguluyor
Ancak şu aşamada Astra'nın bu teknolojiyi kullanımının sınırlı olduğu bildiriliyor. Rapor, modelin düşünce zincirinin hâlâ okunabilir kalacağını ve OpenAI'nin bunu tamamen anlaşılmaz bir "nöral dil" dönüşümü olarak tanımlamaya karşı olduğunu belirtiyor.
OpenAI baş bilim insanı Jakub Pachocki, X üzerinde, şirketin en erken çıkarım modellerinden beri düşünce zinciri izleme yeteneğini korumayı ve kullanmayı sürdürdüğünü, bunun da mevcut araştırma planının temel hedeflerinden biri olduğunu belirtti.
Dikkat edilmesi gereken nokta, OpenAI'nin bu yönde yalnızca değil olmasıdır. The Information, daha sonra Anthropic ve Google DeepMind'in benzer teknolojiler üzerinde konuştuğunu bildirdi. Bu, model yeteneklerinin artırılması ile güvenli ve denetlenebilirlik arasındaki dengeyi, AI endüstrisinde daha geniş bir ortak konu haline getirmek üzere yakında ortaya çıkabileceğini gösteriyor.