Gönderi
avatar

Uzun süre çalışan AI, diyalogları ve çalışma geçmişlerini özetleyerek işlemi sürdürür. ARCBench, bu özetlerde yasaklar hâlâ varsa güvenli olup olmadığını, gerçek araç işlemlerini kullanarak test eder. pi adlı yürütme ortamında geçmiş oluşturur, ardından sıkıştırıldıktan sonra kurallara aykırı bir talep verir ve sıkıştırılmadan yapılan işlemlerle karşılaştırır. Aynı zamanda, kuralların özetle korunduğunu, zayıfladığını mı yoksa tamamen kaybolduğunu da inceler. Örneğin, e-postanın yalnızca şirket içi alıcılara gönderimini sağlayan bir kural varsa, dışarıya e-posta gönderme aracı çağrısını ihlal olarak değerlendirir. 17 sorunla yapılan değerlendirme, sıkıştırılmış versiyonlarda çoğu ihlalin kuralın hâlâ mevcut olduğunu gösterdi. Ancak bazı durumlarda, sonraki taleplerin izin verildiği gibi kabul edilmesi gibi davranışsal sorunlar da ortaya çıktı. Kuralın özetde yer alıp olmadığına bakarak değil, bu kurala aykırı işlemlerin gerçekleştirilip gerçekleştirilmediğine kadar kontrol edilmelidir.

Bu içerik yalnızca bilgilendirme ve eğitim amaçlıdır. Üçüncü taraf görüşlerini, sponsorlu içeriği veya içerik oluşturucunun ücret alabileceği promosyon materyallerini içerebilir. Bu yayındaki hiçbir şey yatırım tavsiyesi veya getiri garantisi teşkil etmez. Kendi yatırım kararlarınızdan yalnızca siz sorumlusunuz. Yatırım yapmadan önce her zaman kendi araştırmanızı yapın ve dikkatli olun. Üçüncü taraf bilgilerinin doğruluğunu garantilemiyoruz ve kayıplardan sorumlu değiliz. Geçmiş performans gelecekteki sonuçların göstergesi değildir. Ayrıntılar için lütfen Topluluk Şartlarına ve Risk Açıklama Beyanına bakınız.

avatarYanıtınızı gönderin

Yorum