OpenAI, yeni modeli "Astra"yı yakında çıkarıyor ve bu, AI araştırma topluluğunda geniş ilgi ve tartışmalar yaratıyor—performans açısından GPT-4'ten beri en büyük atlamayı sağlayabilir, ancak arkasındaki yeni çıkarım tekniği, AI güvenlik izleme kapasitesindeki düşüş endişelerini de beraberinde getiriyor.Yazan: The Information
Teknoloji medyası The Information'e göre 2 Eylül'de, Astra, modelin karmaşık soruları "düşünme" sınırını aşan yenilikçi bir teknolojiyi barındırıyor. Bazı araştırmacılar, Astra'nın kodlama ve bilgisayar kullanımındaki ilerlemelerin, OpenAI'nin 2023'te GPT-4'ü yayınladığı sırada yaşanan performans sıçramasına eşdeğer olabileceğini, geçen yaz GPT-5'in yayınlandığı dönemdeki performansı çok aşacağını düşünüyor. Bu durum, veri merkezlerinin büyük ölçekli inşaatına yönelik yatırımları desteklemek için AI verimliliği artışlarına bağımlı olan tüm sektör için kesinlikle olumlu bir sinyaldir.
Ancak bu teknik başarı, dikkat edilmesi gereken ciddi bir risk de beraberinde getiriyor. Yeni teknoloji, modelin eksik “düşünce zinciri” çıktıları ile derinlemesine çıkarımda bulunmasına izin veriyor; bu da araştırmacıların modelin çıkarım sürecini önceki kadar etkili bir şekilde izleyememesine ve mevcut güvenlik denetim mekanizmalarını zayıflamasına neden oluyor. Şu anda OpenAI, Astra'nın düşünce zincirinin görünür kalmasını sağlamak için önlemler alıyor; ancak endüstri bu dengeye ilişkin uzun vadeli yönü konusunda hâlâ fikir ayrılığı yaşıyor.
Performans Atılımı: Yeni çıkarım tekniği, GPT-4 seviyesinde bir sıçramayı yeniden üretmek için Astra'nın temel teknolojik atılımı, “döngüsel derinlik” (recurrent depth) ve “döngüsel dönüşümler” (loop transformers) gibi kavramlarla yakından ilişkilidir.
The Information'e göre, bu teknoloji, soruları modelin matematiksel "katmanlarına" tekrar tekrar ileterek, cevapların bir sonraki kelimesini oluşturur ve bu sayede model, parametre boyutunu önemli ölçüde artırmadan, çok daha büyük bir modele eşdeğer bir akıl yürütme yeteneği sergiler.
Bazı araştırmacılar, Astra'nın daha güçlü kodlama ve bilgisayar kullanım becerileri sayesinde performans artışı, 2023'te GPT-4'ün piyasaya sürülmesi sırasında görülen devrimci ilerlemeye eşdeğer olabilir ve geçen yaz GPT-5'in piyasaya sürülmesi sırasında görülen nispeten sakin piyasa tepkisini aşar.
Bu ilerleme, tüm AI zinciri için önemli bir öneme sahiptir. Şu anda küresel veri merkezlerinin büyük ölçekli inşası, AI yeteneklerinin sürekli gelişiminin üretkenliği artıracağına ve bu da daha yüksek ticari kazançlara dönüşeceğine dair bir tahmine dayanmaktadır. Astra'nın performansı beklentileri karşılar ise, bu yatırım mantığına güçlü bir destek sağlayacaktır.
Dikkat edilmesi gereken nokta, bu teknolojinin tamamen yeni bir kavram olmadığıdır. AI araştırmasının öncülerinden biri olan Jürgen Schmidhuber, sosyal medya platformu X'de "döngüsel derinlik"in temel fikrinin aslında 2015 yılındaki makalesi olan "On Learning to Think" (arXiv:1511.09249)’de zaten yer aldığını belirtti.
O, makaledeki kontrol ağı C'nin, sorgularla bağımsız sinirsel dünya modellerini öğrenerek soyut çıkarımlar yapan bir ipucu mühendisi olduğunu belirtti; oluşturulan ipuçları ve cevaplar, doğal dil ile sunulmadan içsel olarak üretilen vektör dizileridir.
Güvenlik açıkları: Düşünce zinciri izleme mekanizması zorluklarla karşı karşıya kalıyor; yeni teknolojiler, performans artışı sağlarken mevcut AI güvenlik izleme çerçevelerine potansiyel bir tehdit oluşturuyor.
Raporlara göre, şu anda ana akım AI modelleri, karmaşık sorunları çözerken genellikle “düşünce zinciri” (chain of thought) olarak adlandırılan metinsel bir biçimde çıkarım süreçlerini çıktı olarak verir. Bu mekanizma, modelin yorumlanabilirliğini artırmanın yanı sıra, araştırmacıların model davranışlarını izlemesi ve anormal işlemlere karşı önlemler alması için önemli bir araçtır.
The Information'e göre, düşünce zinciri izleme, OpenAI'nin bu yıl Temmuz'da Hugging Face'de yaşanan hacker olayının ardından benimsediği benzer güvenlik açıklarının tekrarlanmasını önlemek için öne çıkan çözümlerden biridir.
Ancak Astra'nın kullandığı yeni çıkarım tekniği, modelin derinlemesine "düşünmesi" durumunda çıkarım adımlarını tam olarak çıkarmayabilir ve hesaplamaları model içinde "sessizce" tamamlayabilir. Bu, modelin bu yeni teknolojiye ne kadar çok bağımlı hale gelirse, çıkarım sürecinin dış izleyiciler için o kadar şeffaf olmayacağını anlamına gelir.
Bu konuda OpenAI şu anda dengeleri kurmak için önlemler alıyor. Şirket, Astra'nın düşünce zincirinin bir ölçüde görülebilir kalmasını sağlamak için modelin hesaplama katmanında döngü sayısını azaltmayı yönlendiriyor. Döngü sayısı ne kadar azsa, modelin “sessizce düşünme” alanı o kadar azalır.
Büyük laboratuvarlar zaten bu konuda çalışmalarını sürdürüyor; bu teknoloji trendinin etkisinin OpenAI'nin ötesine uzanması muhtemel. The Information'a göre, yukarıda bahsedilen yeni çıkarım tekniği, Anthropic, Google ve diğer büyük AI laboratuvarları tarafından içsel tartışmaların merkezinde yer alıyor.
Çok sayıda araştırmacı, düşünce zinciri izlemenin AI davranış izleme için nihai çözüm olmayacağını belirtti. Modellerin yetenekleri sürekli gelişmeye devam ettikçe, modellerin düşünce süreçlerini metin olarak çıkartması özelliği büyük ölçüde mevcut eğitim yöntemlerinin bir yan ürünüdür.
Model geliştiricileri yeni optimizasyon yönleri ve mimari tasarımlar araştırdıkça, modellerin kendi kendine düşünce zinciri üretme eğilimi zamanla azalabilir ve araştırmacılar o zaman yeni izleme yöntemleri geliştirmek zorunda kalacaktır.
Rapor, şu anda ana sorunun, performans rekabetindeki artan baskı altında, büyük AI geliştiricilerinin daha güçlü çıkarım yetenekleri için mevcut güvenlik önlemlerini isteyerek terk edip etmeyecekleri olduğunu belirtiyor. Bu sorunun cevabı, sonraki aşama AI güvenlik yönetimi yönünü büyük ölçüde belirleyecektir.