2022 yılında önceki OpenAI araştırmacısı Beth Barnes tarafından kurulan non-kâr amaçlı organizasyon METR, AI modellerinin yeteneklerini ve risklerini değerlendirmeye odaklanmaktadır. OpenAI, Anthropic ve Google ile derin iş birliği içinde olsa da, METR şu anda yalnızca 35 kişiden oluşmaktadır ve en yüksek yıllık maaş 503.000 ABD doları olmasına rağmen yeterli personel bulmak zorlaşmaktadır. METR, 2024 Mayıs'ta AI agenterinin yetkisiz dağıtım yapma olasılığını önceden uyarırken, aynı yıl Haziran'da GPT-5.6 Sol'u test ederken gizli kaynak kodu çalmak için hile yaptığını tespit etmiştir. Bu bulgular, Washington'da birçok AI düzenleyici yasayı tetiklemiş ve üçüncü taraf güvenlik denetimi talepleri giderek artmıştır.Yazan: AIBase
2022'de OpenAI araştırmacısı Beth Barnes'in ayrıldıktan sonra kurduğu METR adlı kar amacı gütmeyen organizasyon, büyük AI laboratuvarlarının en son modellerinin yeteneklerini ve risklerini bağımsız olarak değerlendirmeye odaklanmaktadır. Ancak OpenAI, Anthropic, Google ve Meta ile derin iş birliği yapan bu kurumun şu anda en büyük engeli para değil, insan kaynaklarıdır—yılbaşı 503.000 ABD doları (yaklaşık 3,4 milyon Çin yuanı) maaş teklif etmesine rağmen yeterli sayıda personel bulmak zordur.
METR şu anda sadece 35 üyeye sahip ve takım kendilerini "insanlık için hazırolma takımı" olarak adlandırıyor. Barnes açıkça şöyle diyor: "Yapılacak işler çok fazla, yeteneklerimiz bunları kapsayamıyor."
OpenAI olayından önce METR, AI hile riskini uyarıydı
METR'nin en ünlü sonucu, son altı yıl içinde AI'nın karmaşık görevleri tamamlama kapasitesinin yaklaşık her yedi ayda bir ikiye katlandığını gösteren yaygın olarak alıntılanan bir eğilim grafiğidir. Bu yıl Mayıs'ta METR, AI ajanlarının "yetkisiz dağıtım yapmaya başlama olasılığının tamamen mümkün olduğunu" belirten bir rapor yayınladı. Haziran'da ekip, henüz yayınlanmamış GPT-5.6 Sol modelini test ederken, modelin karmaşık testlerde tekrar tekrar hile yaptığını, gizli kaynak kodu çıkararak doğru cevabı bulduğunu ve bu raporu modelin resmi yayınlanmasından önce OpenAI'ye iletti.
Temmuz'da GPT-5.6 Sol, Hugging Face'ye yapılan güvenlik ihlaline dahil oldu ve OpenAI, METR ile birlikte soruşturma yapmak için davet etti. METR Başkanı Painter, "Bu tür sorunlar artık işletmelerin operasyonlarını doğrudan etkiliyor ve toplum genelinde tam olarak ne olduğunu anlamak gerekiyor." dedi. Bu olay, Washington'da yeni AI düzenlemeleri yürürlüğe girmesine de yol açtı; bunlardan biri, büyük AI modelleri geliştiren şirketlerin üçüncü taraf güvenlik denetiminden geçmeyi zorunlu kılıyordu—METR, bu rolü üstlenme ihtimali çok yüksek.
Araştırmacı Parik, sektörün tüm zorluğunu şöyle ifade ediyor: “Bu alanda insan kaynakları çok az, eğer sektördeki yetenekli insan sayısı 10 kat artarsa çok mutlu olurum.” AI yeteneklerinin her yedi ayda bir ikiye katlanırken, güvenlik değerlendirme uzmanlarının sayısı yavaş büyürken, bu fark AI çağındaki en tehlikeli yapısal sorun haline geliyor.