Google Araştırma, yapay zekânın daha sık “Emin değilim” demesini istiyor. Şirketin araştırmacılarından bir makale, büyük dil modellerinin, içsel güven düşük olduğunda, tamamen yalan bir şey söylemiş gibi güvenle yanıt vermek yerine cevaplarını sertleştirmesi gerektiğini savunuyor.
“Büyük Dil Modelleri, İçsel Belirsizliklerini Kelimelerle Sadık Bir Şekilde ifade edebilir mi?” başlıklı makale, doğal dil işleme araştırmalarının en üst düzey platformlarından biri olan EMNLP 2024’te sunuldu. Temel bulgusu: mevcut LLM’ler, aslında ne hakkında konuştuğunu bilmediğinde bunu söylemede oldukça kötüdür.
Bilmek ile söylemek arasındaki fark
Yazarlar Gal Yona, Roee Aharoni ve Mor Geva, “sadık yanıt belirsizliği” adını verdikleri resmi bir çerçeve öneriyor. İngilizce'de: bir modelin söylenen güveninin, içsel güveniyle gerçekten eşleşip eşleşmediğini ölçmenin bir yolu. Bu metrik, her iki yöndeki uyumsuzluğu da cezalandırır; yani her şeyi belirsizlikle ifade eden bir model, hiç belirsizlik göstermeyen bir modele tamamen eşit şekilde cezalandırılır.
Tavsiyeleri yanıltıcı şekilde basittir. Bir LLM'nin dahili güveni düşükse, belirsiz bilgileri gerçek gibi sunmak yerine “Emin değilim ama...” gibi doğal dil engelleyiciler kullanmalıdır.
Araştırmacılar, bilgi yoğun soru-cevap görevleri boyunca birden fazla hizalanmış LLM’yi test etti. Sonuçlar umut verici değildi. Modern modeller, çıktılarında kendi belirsizliklerini doğru şekilde yansıtmakta büyük zorluk çekiyor.
Hallerin sohbet robotlarının ötesinde neden önemli olduğu
Google makalesi, belirsizlik ifadesini bir uyum problemi olarak çerçeveler. Mevcut uyum teknikleri, ilk eğitimin ardından modelleri ince ayarlamak için kullanılan süreçler, faydalılık ve akıcılık için optimize edilir. "Bilmiyorum" diyen bir model, "Bilmiyorum" en doğru olası cevap olsa bile, faydalılık testlerinde düşük puan alır.
Bu, ters bir teşvik yaratır. Modeller, güvenli, detaylı cevapların ödüllendirildiğini, belirsiz veya eksik cevapların ise cezalandırıldığını öğrenir. Araştırmacılar, bu boşluğun, ifade edilen kesinliği gerçek bilgiyle uyumlu hale getirmek için özel olarak tasarlanmış yeni uyum tekniklerini gerektirdiğini savunur.
arXiv ön yazısı, EMNLP sunumundan aylar önce 27 Mayıs 2024'te yayınlanmıştır.
Kripto ve yapay zeka tabanlı işlemlemeler için bu ne anlama geliyor
Kağıt, kripto para, dijital varlıklar veya finansal uygulamalara atıfta bulunmamaktadır. Ancak etkileri, yatırım bağlamlarında AI araçları kullanan herkes için önemli şekilde yayılmaktadır.
“Bitcoin, X dolar direncini test edecektir” diyen bir işlem sinyali, temel modelin %95 güvenle mi yoksa %45 güvenle mi sonuç verdiğine göre çok farklı anlamlar taşır. Şu anda, çoğu yapay zeka tabanlı araç bu iki senaryoyu aynı şekilde sunmaktadır.
Kripto analizi için şu anda AI araçlarına dayanan yatırımcılar ve traderlar için pratik çıkarım basit: kendi belirsizliğini ifade etmeyen her AI tarafından üretilen insight’ı en iyi ihtimalle eksik olarak değerlendirin. Google makalesi, en gelişmiş modellerin bile sıklıkla güvenlerini abarttığını göstermektedir.