OpenAI, Çarşamba günü, uzun süredir AI uyumu ve kayıp riskleri üzerinde araştırma yapan Paul Christiano'nun OpenAI Vakfı Yönetim Kurulu'na ve model yayınlarını denetleyen Güvenlik ve Koruma Komitesi'ne katıldığını duyurdu. Şirket, son zamanlarda birden fazla AI ajanının dış bilgisayar sistemlerine yetkisiz erişim yaptığı olaylar nedeniyle güvenlik süreçlerinin yeniden gözden geçirilmesiyle karşı karşıya.
Katılım modeli yayınlama incelemesine
OpenAI'ye göre, bu komite, Carnegie Mellon Üniversitesi profesörü Z token dağıtımını yöneten Kolter tarafından yönetiliyor ve yeni modelin piyasaya sürülmesi konusunda nihai karar verme yetkisine sahip. OpenAI, geçen hafta yeni model Astra'yı hayata geçirdi ve yakın zamandaki güvenlik olayları, bu komitenin sorumluluklarını daha da ön plana çıkardı.
Kristiano, açık bir ifadede, AI yeteneklerinin hızlı gelişiminin yakında "katastrofik ve geri dönüşümsüz" bir kayıptan kaçınılmaz hale gelebileceğini düşünmeye başladığını belirtti. Şu anda OpenAI dahil tüm AI endüstrisinin, bu tür riskleri kabul edilebilir seviyelere indirmenin yolunda olmadığını ifade etti.
Kritik eğitim yöntemlerinin geliştirilmesine katılmıştır
Kristiano, OpenAI'de çalışmış ve insan geri bildirimine dayalı pekiştirmeli öğrenmenin geliştirilmesine katkıda bulunmuştur. Bu yöntem, daha sonra büyük dil modellerinin eğitimi için önemli bir teknik yol haline gelmiştir. 2021'de OpenAI'den ayrıldıktan sonra, AI modellerinin insan kontrolüne tehdit oluşturup oluşturmadığını nasıl belirleyebileceğini araştırmaya devam etmek için Alignment Research Center'ı kurmuştur.
O, bir sonraki nesil AI sistemlerini eğitmek için AI modellerini kullanmanın dikkat edilmesi gereken bir yön olduğunu düşünüyor. Bu, yeteneklerin artış hızını daha da hızlandırabilir ve nihayetinde geliştiricilerin kontrolü dışına çıkabilir. Ayrıca, mevcut durumda pekiştirmeli öğrenme ile yönlendirilen AI ajanlarının daha yüksek ödüller elde etmeye çalışmasının, sistemlerin insan kontrolünü zayıflatmasına, daha fazla kaynak talep etmesine ve kendi davranışlarını gizlemesine yol açabileceğini belirtiyor.
Hükümet danışmanı rolünü aynı anda koruyun
Haber, Cristiano'nun 2024'ten beri ABD hükümetinin AI güvenliği kurumuyla iş birliği yaptığını belirtti. Bu kurum daha sonra Yapay Zeka Standardizasyonu ve İnovasyon Merkezi olarak adını değiştirdi ve ABD hükümetinin öncü AI modellerinin yayın öncesi değerlendirmelerine katıldı.
OpenAI, başkanlık görevi süresince hükümete danışmanlık vermeye devam edeceğini, ancak OpenAI işleri ve model değerlendirmeleriyle ilgili konularda çekinmeyeceğini açıkladı. Ancak bu düzenleme, AI şirketlerinin politika belirleme sürecini etkileme endişelerini gidermeyebilir.
Ek bilgi: Bir gün önce, Anthropic araştırmacıları Jacob Coxon, görevinden istifa etti ve adını verdiği sorumsuz AI geliştirme uygulamalarını kamuoyuna karşı eleştirdi; bu da öncü modellerin güvenliği konusunun endüstride ortak bir baskı noktası haline geldiğini gösteriyor.