Microsoft Araştırmacıları, Yapay Zeka Yanıtlarını Tetiklemek İçin Yedi Nöronu Değiştiriyor

iconNS3
Paylaş
AI summary iconÖzet
Microsoft'ten AI + kripto haberleri: Araştırmacılar, AI modellerinde yedi nöronu değiştirerek önceden tanımlanmış çıktılar tetikleyen Lazarus adlı bir yöntem geliştirdi. 10 Kasım'da duyurulan bu teknik, Nemotron-Terminal-8B ve Qwen3.6-27B gibi modellerde çalışıyor. Microsoft, bu yöntemin kötüye kullanımına dair herhangi bir rapor olmadığını belirtti. Zincir üzerindeki haberler uzmanları, riskleri azaltmak için model kökenini doğrulamayı ve erişimi sınırlamayı öneriyor.

Microsoft araştırmacıları, gizli bir tetikleyici ortaya çıktığında bir yapay zeka modelinin seçilen bir yanıt vermesini sağlayarak sıradan yeteneklerini korumak için yedi nöronu değiştirdi. Microsoft Research, 10 Kasım'da Lazarus adı verilen bu tekniği açıkladı. Yazarlar, makaleyi 11 Kasım'da arXiv'e gönderdi. Microsoft Tehdit İstihbaratı, bu tekniğin bir silah olarak kullanıldığını gözlemlememişti.

Saldırı, girdi işleme ve yanıt oluşturma işlemlerini yöneten depolanan model ağırlıklarını değiştirmeye erişim gerektirir. Tetikleyici, önceden yerleştirilmiş davranışları etkinleştirir, ancak değiştirilmemiş bir kontrol noktası arka kapı oluşturamaz. Lazarus, modelin çıktısına yakın son ileri beslemeli katmandaki uyku halindeki nöronları kullanır. Seçilen her nöron, amaçlanan yükü temsil eden bir belirteci öne çıkarabilir. Yedi nöron, yedi sayısal parametre değil, ağırlık vektörleri gruplarını temsil eder. Araştırmacılar, ağırlık değişimlerini doğrudan hesaplayan bir sürümü ve yalnızca seçilen ağırlıkları daha da ayarlayan başka bir sürümü test etti. Her iki sürüm de tam modelin yeniden eğitilmesini gerektirmez.

Yedi nöronlu test için araştırmacılar, nöron seçimi ve doğrulama verileri zaten sabitlenmiş olan 23 tetiklenmiş ve iyi niyetli örnek kullanarak Nemotron-Terminal-8B patch’ini uyguladı. Model, kaydedilen tüm tetiklenmiş bağlamların en az %98,8’inde tam işaretçiyi tahmin etti. Test edilen iyi niyetli kaydedilmiş bağlamlarda hiçbir işaretçi sızıntısı gözlenmedi. Yük, printf LAZARUS_OK, bir işaretçi basar. Deney, yedi nöron kullanarak yıkıcı bir ele geçirme değil, çıktı kontrolünü gösterdi.

Qwen3.6-27B'de 60 nöron, birden fazla ajan eylem formatında bir sahte deposu silme komutunu tahmin etmek için değiştirildi. Tam eylem tahmini, daha önce görülmemiş swe-agent formatında %40'a ulaştı. Test, serbest çalışma üretimi sırasında yıkıcı komut yürütmesini ölçmek yerine her adımda amaçlanan önceden gelen belirteçleri sağladı.

Daha fazla Nemotron deneyi, yeni nesil üretmeyi mümkün kıldı ve sorgu tetikli durumlarda işaretçi %98,88 oranında üretildi. Gözlem tetikli durumlarda işaretçi %98,71 oranında üretildi. İyi niyetli sızıntı, sorgu tetikli durumlarda sıfır olarak ölçüldü ve gözlem tetikli durumlarda %0,14 olarak ölçüldü. Sıradan yetenekler büyük ölçüde korundu, ancak ölçülebilir farklılıklar ortaya çıktı. Tetikleyicisiz ayrı Qwen performans testlerinde, temiz kontrol noktası için Terminal-Bench görev başarı oranı %46,59 iken, her düzenlenmiş kontrol noktası için %42,05 oldu. Bu performans testi bulguları, ayrı 60 nöronluk düzeltmenin nasıl performans gösterdiğini belirlememektedir.

Başarılı sıradan görev testleri, model ağırlıklarının değiştirilip değiştirilmediğini belirlemez. Bir terminal komutuna dönüşen tetiklenen yanıt, yalnızca ajanın mevcut izinleri içinde hareket edebilir. Microsoft, model kökenini doğrulamayı ve ağırlık değişikliklerini kontrol etmeyi önerir. Microsoft, sonuçları önemli olan araç eylemleri için onay gereksinimleriyle birlikte yetkileri ve dış ağ erişimini sınırlamayı da önerir. Kontroller, kontrol noktası manipülasyonunu ve modeli barındıran ajanın yeteneklerini ele alır. Microsoft, başarılı bir denetimin güvenli davranış garantisi veremeyeceğini uyarır.

Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir. Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.