Bu hafta "Eğer Kimse İnşa Ederse, Herkes Ölecek" kitabını ve Lens Akademisi'nin "AI Risk Temelleri" kursunu tamamladım. @So8res ve @ESYudkowsky, kitap için harika bir iş çıkardı. Hikâyeler ve örnekler, son derece zor bir konuyu çok daha anlaşılır hale getiriyor. Temel fikir oldukça açık: Gerçekten ne inşa ettiğimizi anlamadan süper zekâlı AI'ya doğru ilerlemeye devam edersek, bunu düzeltmek için ikinci bir şansımız olmayabilir. Yazarlar, yeterince gelişmiş bir AI'nın insanlık türünün yok olmasına neden olabileceğini savunuyor, yani nihayetinde kendi varoluşumuzu sonlandıracak bir şey yaratabiliriz. Yazarlar bunun sadece başka bir teknoloji dalgası olmadığını savunuyor. Bu, temel olarak farklı bir şey ve bu sistemleri nasıl inşa edeceğimizi veya kontrol edeceğimizi yanlış anlarsak, geri alınamaz sonuçlar doğurabiliriz. Önerdikleri çözüm, AI geliştirme faaliyetlerini tamamen durdurmak. Bu, AI'nın hayatımızda zaten gösterdiği olumlu etkiler göz önüne alındığında kabul etmekte zorlanıyorum. Benim görüşüm: Orta yolu seçmek. AI geliştirme çalışmalarına devam etmeliyiz, ancak AI güvenliği ve uyum için çok daha fazla kaynak ayırmalıyız. Grup tartışmamızda, AI endüstrisindeki çalışanların sadece yaklaşık %1'inin AI güvenliği üzerine çalıştığını belirtildi. Eğer bu tahmin en azından yaklaşık doğruysa, bu dengesizliğin ciddiyetle ele alınması gerektiğini düşünüyorum. Ön plan laboratuvarları ve hükümetler, bu sistemleri siyah kutular gibi görüp sadece ince ayarlamak yerine, bunların nasıl çalıştığını ve AI güvenliğini anlamaya çok daha fazla yatırım yapmalı. Kendiliğinden hareket edebilen sistemler giderek daha fazla inşa ediyoruz. Son zamanlarda AI ajanlarının gerçek dünya sistemleriyle etkileşime girmesiyle ilgili olaylar, bu sorunun daha somut hale geldiğini hatırlatıyor. Bu kitabı okuduktan sonra, AI güvenliğinin şu anda aldığından çok daha fazla dikkat ve kaynak gerektirdiğine inanmaya başladım.