Bir yapay zeka ajanı, gerçek hasara neden olmak için kötü niyet gerektirmez. Sadece çalıştığı ortamı yanlış anlaması yeterlidir. @AnthropicAI, dün @claudeai'nin üç kuruluşun üretim sistemlerine yetkisiz erişim sağladığını açıkladı. Modeller, simülasyonlar içinde çalıştıkları söylenmişti, ancak bir yapılandırma hatası onlara gerçek internete erişim sağladı. Claude, bulduğu sistemleri egzersizin bir parçası olarak gördü ve atanmış hedefe ulaşmaya devam etti. Bu önemli bir ayrım. Model, kaçmak, isyan etmek veya rastgele hedeflere saldırmak için karar vermedi. Aldığı bilgi ve izinlerle tutarlı davrandı. Ortam yanlış olduğu için uygulama da yanlış oldu. Bu, özerk yapay zekanın temel zorluğudur. Çok zaman, bir ajanın talimatlarına uymayıp uymayacağını sormaya harcıyoruz; ancak talimatlara mükemmel şekilde uymak, bağlam, veri veya sınırlar yanlış olduğunda hâlâ tehlikeli olabilir. Güvenlik, modelin nerede hareket etmeye izin verildiğini hatırlamasına bağlı olamaz. Modelin geçersiz kılamayacağı dış kontroller gerektirir: gerçek ağ izolasyonu, dar izinler, doğrulanmış hedefler, işlem sınırları ve otomatik kapatma koşulları. Gelecek, asla hata yapmayan ajanlarla güvence altına alınmayacaktır. Gelecek, sonunda hata yapacaklarını varsayan sistemlerle güvence altına alınacaktır.