Şirketler büyük modelleri müşteri hizmetleri, programlama ve finans gibi iş süreçlerine entegre ettikçe, model çıktılarının kontrol dışına çıkması, hassas bilgilerin sızması ve yetki dışındaki işlemler gibi sorunlar daha fazla dikkat çekmeye başlıyor. Paris merkezli AI güvenlik startup şirketi White Circle, şirket kullanıcıları ile modeller arasında gerçek zamanlı bir kontrol katmanı eklemeyi amaçlayarak son olarak 11 milyon dolarlık tohum sermaye finansmanını tamamladı.
Finansman, birçok AI sektörü uzmanından gelmektedir.
Bu sermaye toplama turunu destekleyenler arasında OpenAI geliştirici deneyimi sorumlusu Romain Huet, OpenAI ortak kurucusu ve şu anda Anthropic araştırmacısı Durk Kingma, Mistral ortak kurucusu ve baş bilim insanı Guillaume Lample ile Hugging Face ortak kurucusu ve baş bilim insanı Thomas Wolf yer alıyor.
White Circle, bu fonların ekibin genişletilmesi, ürün geliştirme hızlandırılması ve ABD, İngiltere ve Avrupa'da müşteri bazının genişletilmesi için kullanılacağını belirtti. Şirket şu anda Londra, Fransa, Amsterdam vb. yerlerde yaklaşık 20 kişilik bir ekip ile çalışmakta olup, ekip çoğunlukla mühendislerden oluşmaktadır.
Modelin dışına gerçek zamanlı engelleme katmanı ekleyin
White Circle, şirket kullanıcıları ile AI modelleri arasında gerçek zamanlı bir yürütme sistemi kurmayı hedefler. Platform, şirketlerin özelleştirilmiş politikalarına göre giriş ve çıkış içeriklerini sürekli olarak denetler. Kullanıcılar kötü amaçlı yazılım, dolandırıcılık içeriği veya diğer sınırlı bilgiler oluşturmayı denediğinde, sistem doğrudan engelleyebilir veya işaretleyebilir.
Şirket, bu sistemin model hayal gücü, hassas veri sızıntısı, yetkisiz para iadesi taahhütleri ve AI ajanlarının yazılım ortamlarında yapabileceği zararlı işlemlerin tespitinde de kullanılabileceğini belirtti. Temel fikir, model üreticilerinin eğitim aşamasında genel güvenlik ayarlamalarına yalnızca güvenmek yerine, işletmelerin kendi iş ortamlarında hangi davranışların izin verileceğini ve hangilerinin engellenmesi gerektiğini tanımlamalarını sağlamaktır.
Shilov, işletmelerin sohbet botlarından yürütülebilir görevler yapabilen AI ajanlarına geçmesiyle risklerin açıkça genişlediğini düşünüyor. Bu tür sistemler sadece metin üretmekle kalmaz, aynı zamanda kod yazabilir, dosyalara erişebilir, web sayfalarını tarayabilir ve hatta kullanıcı adına işlemler gerçekleştirebilir.
Kaçış uyarısı, girişimcilik ilhamı veriyor
White Circle, Denis Shilov tarafından kuruldu. 2024 yılının sonunda, ana akım modellerin güvenlik kısıtlamalarını aşmaya çalışmak için yeniden kullanılabilir bir "evrensel kaçış" talimatı tasarladı. Yöntemi, modelin güvenlik kurallarıyla çalışan bir sohbet botu olarak değil, API arayüzü gibi doğrudan istekleri işlemesi gerektiğini talep etmektir.
Açıklamasına göre, bu ipucu bir zamanlar birçok ana akım modelin reddedmesi gereken tehlikeli sorulara cevap vermesini sağlamıştı. İlgili içerik X platformunda yayıldıktan sonra geniş ilgi çekti ve Shilov'a Anthropic ile modeli gizli olarak test etme fırsatı kazandırdı. Shilov, sorunun yalnızca kaçış ipuçlarının keşfedilmesinde değil, şirketlerin modellerin davranışları üzerinde sürekli kontrol yeteneğine sahip olmamalarında olduğunu düşündü.
1 milyardan fazla API isteği işlendi
White Circle, platformının toplamda 1 milyardan fazla API isteğini işlediğini açıkladı; mevcut müşterileri arasında programlama aracı startup'ı Lovable ve birçok finansal teknoloji ile hukuki hizmet şirketi yer alıyor.
Shilov, model sağlayıcılarının kurumların ihtiyaç duyduğu gerçek zamanlı kontrol katmanını oluşturma konusunda yeterli motive edici faktörlere sahip olmayabileceğini düşünüyor. Bir yandan, model cevap vermese bile bazı üreticiler girdi ve çıktı token'ları için ücret alıyor; diğer yandan, daha katı güvenlik eğitimi bazen programlama gibi görevlerde modelin performansını etkileyebiliyor.
Araştırma test modeli sapmasını yayınla
Ürün işlevlerinin yanı sıra White Circle, araştırma çalışmalarını da sürdürüyor. Şirket, Mayıs'ta OpenAI, Google, Anthropic ve xAI dahil 15 modeli, yaşam ve ölüm kararları içeren hayali senaryolarda nasıl yanıt verdiğini test etmek amacıyla 1 milyondan fazla deney gerçekleştiren KillBench adlı bir araştırma yayınladı.
Şirket, deney sonuçlarının, modelin ulusal köken, din, vücut tipi veya telefon markası gibi özelliklere göre farklı seçimler yapacağını gösterdiğini belirtti; bu da bazı gizli önyargıların yüksek riskli senaryolarda ortaya çıkabileceğini ima ediyor. Araştırmaya göre, modelin sabit seçenekler veya formlar aracılığıyla cevap vermesi istendiğinde bu tür önyargılar daha belirgin hale geliyor; bu, şirketlerin AI’yi gerçek ürünlerde kullanırken sıkça başvurduğu bir yöntem.