Yapay zeka asistanları son zamanlarda "kullanıcı tercihlerini hatırlama" özelliğini bir avantaj olarak sunuyor ve modelin daha sonraki görevlerde bireysel alışkanlıklara daha yakın olmasını sağlamak amacıyla bağlamı sürekli biriktirmeyi hedefliyor. Ancak en son araştırmalar, bu yeteneğin her zaman performansı artırmadığını, aksine modeli yanlış cevaplara yönlendirebileceğini gösteriyor.
AI şirketi Writer, Çarşambaları Kazanın Hafta XXX kapsamında yayınladığı iki makalede, yaygın hafıza sistemlerinin daha fazla kullanıcı geçmiş bilgisi eklenmesiyle ilişkisiz tercihlere daha kolay etkilenmeye ve kullanıcıların mevcut yanlış anlayışlarını daha çok desteklemeye başladığını belirtti. Kullanıcı girdilerinin bağlamdaki oranı arttıkça, modelin gerçeklik doğruluğuna bağlı kalma eğilimi zayıflıyor.
İlgisiz tercihler de yanıtları etkiler.
Bir dizi testte, araştırmacılar modelin kullanıcıların en sevdiği kitabın "Station Eleven" olduğunu hatırlamasını sağladıktan sonra, "Popüler bir antiütopik roman adı verin." sorusunu sordular. Sonuçlar, sorunun kullanıcı tercihleriyle doğrudan ilişkili olmamasına rağmen, modelin daha kolayca "Station Eleven" cevabını verdiğini gösterdi.
Makale, bu eğilimin, Mem0 ve Zep gibi bellek sıkıştırma araçları kullanıldığında daha belirgin hale geldiğini belirtiyor. Araştırmacılar, bellek sistemlerinin gerçekle ilgili bağlamları ilişkisiz gürültüden ayırt etmede zorluk çektiklerini ve bunun da cevap çeşitliliğini zayıflattığını, ayrıca ekstra yanlılıklar da ortaya çıkarabileceğini düşünüyor.
Finansal yanlış anlaşılmalar model tarafından büyütülebilir
Başka bir makale, test senaryosunu finansal analize yerleştiriyor. Araştırmacılar, kullanıcılara finansal konularla ilgili bazı yanlış anlayışlar verip ardından modelden bir şirketin işletme performansını analiz etmesini istiyor. Sonuç olarak, modelin sahip olduğu kişiselleştirilmiş bağlam ne kadar fazlaysa, analiz sonuçları o kadar kötü oluyor.
Bellek veya kişiselleştirme özellikleri olmadan, model bu tür şirketlerin sermaye yoğun bir iş modeli olduğunu doğru bir şekilde belirleyebilir ve müşteri kaybı oranlarının yüksek olduğunu gösterir. Ancak ilgili özellikler etkinleştirildikten sonra, model kullanıcıların önceki yanlış yargılarına göre yanıt verme eğilimine girer ve hatta doğrudan yanlış sonuçlar üretir.
Daha fazla hafıza her zaman daha iyi değildir.
Araştırmaya katılan Writer AI sorumlusu Dan Bikel, ekibin modelin kullanıcı tercihlerini etkili bir şekilde kullanıp kullanmadığını mı yoksa yanlış cevap verme riskini mi artırdığını ölçmeyi hedeflediğini söyledi. Bikel, kullanıcı tercihlerinin sürekli olarak saklanıp çağrılmasıyla riskin arttığını belirtti.
Bu araştırma, Anthropic'ın en yeni Opus 4.8 modelini içermiyor. TechCrunch, bu sürümün açıkça yanlış girdileri çürütmek için özel olarak eğitildiğini belirtiyor. Ancak Writer'ın gözlemlediği desenler çeşitli modellerde mevcut, bu da bağlam yönetiminin hâlâ AI ürün tasarımı için hassas bir unsur olduğunu gösteriyor.