Microsoft Araştırmacıları, Uyku Nöronlarını Kullanarak AI Modeli Arka Kapısı Tekniğini Gösterdi

iconCryptoSlate
Paylaş
AI summary iconÖzet
Microsoft'ten AI + kripto haberleri, uyku halindeki nöronları kullanarak AI modellerine gizli tetikleyiciler yerleştirme yeni bir yöntem ortaya çıkardı. 10 Kasım'da açıklanan Lazarus adlı teknik, 11 Kasım'da arXiv'te detaylı olarak yayınlandı. Bu yöntem, son katmandaki belirli nöronları değiştirerek belirli çıktı token'larını öne çıkarır. Microsoft, henüz bu yöntemin kullanılarak saldırı yapılmadığını belirtti ve model kökenini kontrol etmeyi önerdi. Teknoloji gelişmeye devam ederken, zincir üstü haberler ve AI güvenliği önemli endişe konuları olarak kalıyor.

Microsoft araştırmacıları, gizli bir tetikleyici ortaya çıktığında bir yapay zeka modelinin seçilen bir yanıt vermesini sağlayarak sıradan yeteneklerini korumak için yedi nöronu değiştirdi. Microsoft Research, 10 Kasım'da Lazarus adı verilen bu tekniği açıkladı. Yazarlar, makaleyi 11 Kasım'da arXiv'e gönderdi. Microsoft Tehdit İstihbaratı, bu tekniğin bir silah olarak kullanıldığını gözlemlememişti.

Saldırı, girdi işleme ve yanıt oluşturma süreçlerini yöneten depolanan model ağırlıklarını değiştirmeye erişim gerektirir. Tetikleyici, önceden yerleştirilmiş davranışları etkinleştirir, ancak değiştirilmemiş bir kontrol noktası arka kapı oluşturamaz. Lazarus, modelin çıktısına yakın son ileri beslemeli katmanda uyku halindeki nöronları kullanır. Her seçilen nöron, amaçlanan yükü temsil eden bir belirteci öne çıkarabilir. Yedi nöron, yedi sayısal parametre değil, ağırlık vektörleri gruplarını temsil eder. Araştırmacılar, ağırlık değişimlerini doğrudan hesaplayan bir sürümü ve yalnızca seçilen ağırlıkları daha da ayarlayan başka bir sürümü test etti. Her iki sürüm de tam modelin yeniden eğitilmesini gerektirmez.

Yedi nöronlu test için araştırmacılar, nöron seçimi ve doğrulama verileri zaten sabitlenmiş olan 23 tetiklenmiş ve zararsız örnek kullanarak Nemotron-Terminal-8B düzeltmesini uyguladı. Model, kaydedilen tüm tetiklenmiş bağlamların en az %98,8'inde tam işaretçiyi tahmin etti. Test edilen zararsız kaydedilmiş bağlamlarda hiçbir işaretçi sızıntısı gözlenmedi. Yük, printf LAZARUS_OK ile bir işaretçi yazdırır. Deney, yedi nöron kullanarak yıkıcı bir ele geçirmeyi değil, çıktı kontrolünü gösterdi.

Qwen3.6-27B'de 60 nöron farklı bir deneyle, birden fazla ajan eylem formatında bir sahte deposu silme komutunu tahmin etmek için değiştirildi. Tam-ekleme tahmini, daha önce görülmemiş swe-agent formatında %40'a ulaştı. Test, serbest çalışma üretimi sırasında yıkıcı komut yürütmesini ölçmek yerine her adımda amaçlanan önceden gelen belirteçleri sağladı.

Daha fazla Nemotron deneyi, yeni bir nesil üretmeyi ve sorgu tetikli durumlarda %98,88’inde işaretçi üretmeyi mümkün kıldı. Gözlem tetikli durumlarda işaretçi %98,71’inde üretildi. Zararsız sızıntı, sorgu tetikli durumlarda sıfır olarak ölçüldü ve gözlem tetikli durumlarda %0,14 olarak ölçüldü. Sıradan yetenekler büyük ölçüde korundu, ancak ölçülebilir farklılıklar ortaya çıktı. Tetikleyicisiz ayrı Qwen performans testlerinde, temiz kontrol noktası için Terminal-Bench görev başarı oranı %46,59 iken, her düzenlenmiş kontrol noktası için %42,05 oldu. Bu performans testi bulguları, ayrı 60 nöronluk düzeltmenin nasıl performans gösterdiğini belirlemiyor.

Başarılı sıradan görev testleri, model ağırlıklarının değiştirilip değiştirilmediğini belirlemez. Bir terminal komutuna dönüşen tetiklenen yanıt, yalnızca ajanın mevcut izinleri içinde işlem yapabilir. Microsoft, model kökenini doğrulamayı ve ağırlık değişikliklerini kontrol etmeyi önerir. Microsoft, sonuçlu araç eylemleri için onay gereksinimleriyle birlikte yetkileri ve dış ağ erişimini de sınırlamayı önerir. Kontroller, kontrol noktası manipülasyonunu ve modeli barındıran ajanın yeteneklerini ele alır. Microsoft, başarılı bir denetimin güvenli davranış garantisi veremeyeceğini uyarır.

Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir. Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.