Yazar: Hugo, Robonaissance
Derin Akış Teknoloji Akışı
Derin Akış Özet: Erken Atari oyun ajanlarından milyonlarca bağlam penceresine sahip büyük dil modellerine kadar, yapay zekâ, zaman boyunca sürekli kararlar verirken temel bir fiziksel çelişkiyle karşı karşıya kalır: modeller, insanların mevcut büyük miktarda statik bilgisini kolayca içerebilir, ancak dinamik etkileşim ortamlarında geçmişin tüm ayrıntılarını kayıpsız olarak taşımakta başarısız olur.
Sınırlı hesaplama gücü ve bağlam penceresi altında, geçmişe yönelik sıkıştırma ile geleceği belirleyen temel durumları doğru şekilde çıkarmanın, “algı karışıklığı” sorununun teknik çözümü olmanın ötesinde, mevcut özerk ajanların gerçek kalıcı belleğe ulaşmasının temel mantığıdır.
Durdurulmuş ekran altındaki durum paradoksu
Bellek, Unutma ve Öz, Makinede Serisi'nin 3. Bölümü: Akıllı varlıklar tüm geçmişini taşıyamadığında, akıl nasıl zaman boyunca eylemde bulunur?
Klasik Pong top oyununu herhangi bir karede durdurun.
Ekran yalnızca iki raket, bir top ve şu anki skoru gösteriyor. Bu anda topun hangi yönde hareket ettiğini söylemeniz mümkün değil; aynı statik görüntü makineye gösterilse bile, makine de aynı şekilde belirleyemiyor.
2015 yılında Matthew Hausknecht ve Peter Stone, Atari oyunları oynamayı öğrenen bir ajan üzerine yazdıkları makalede açıkça belirtti: "Mevcut tek kare ekran, raketin ve topun konumunu gösterir, ancak topun hızını göstermez."
Daha sonra bunun neden önemli olduğunu şöyle açıkladılar: “Topun hareket yönünü bilmek, raketin en iyi konumunu belirlemenin temel unsuruudur.”
Bu duraklatılmış sahne tam olarak doğru; ekran üzerindeki her ayrıntı kendi yerinde. Ancak bu tek kareyle hâlâ oyun oynanamaz.
Sensörün şu anda yakaladığı, yalnızca bir "gözlem"dir.
Ancak agentin bir sonraki eylemini belirleyen gerçek全局, "sistem durumu (State)" dur.
Pong oyununda, gözlemler ve sistem durumu her tek çerçeve kesitinde birbirinden bağımsızdır. Çünkü topun hareket yönü, geçmiş birkaç anın bir faktörüdür ve hiçbir izole an bunu yalnızca içeremez.
Anlık girdi, karar verme gereksinimlerini karşılayamadığında, iyi çalışan bir sistem geçmişten şimdiki anına bazı bilgiler taşımak zorundadır.
Ancak taşıdığı asla tam geçmiş olamaz. Taşıdığı sadece bir özetdir ve bu özetin seçimleri, bir sonraki tahminde neye ihtiyaç duyacağına tamamen bağlıdır.
Bu tercih, sonraki anların hangi bilgi temeli üzerine sahip olacağını belirler. Özete dahil edilmeyen herhangi bir ayrıntı, sonraki anlar tarafından asla temel alınamaz.
Dört kare derinliğinin bellek uzlaşması
Hausknecht ve Stone, 2015 yılında Nature dergisinde DeepMind'in Volodymyr Mnih ve diğerleri tarafından yayımlanan DQN ajanıdır.
DQN, ekran görüntülerinden yalnızca yola çıkarak onlarca Atari oyunu oynamayı öğrenebilir, ancak makale yazarları geliştirme aşamasında donmuş ekran sorunuyla karşılaştı.
Kağıtların yöntem bölümünde şunları yazıyorlar: “Ajanlar yalnızca mevcut ekranı görebildiği için, bu görev kısmen gözlemlenebilir bir durumdur ve birçok simülasyon durumu algısal olarak karışık (Perceptually Aliased) durumdadır.”
Yani, yalnızca mevcut ekran görüntüsüyle ajanın tam durumu hakkında bilgi verilemez.
“Algı karışıklığı”, günlük sıkıntıların kesin bir akademik tanımıdır. İki tamamen farklı durum (örneğin, top sizin raketinize doğru geliyor veya top raketinizden uzaklaşıyor) statik bir görüntüde tamamen aynı bir görüntü oluşturur.
Sadece görüntüleri gören bir sistem, bunları aynı durum olarak zorla algılar; eğer bu iki durum tamamen ters işlemler gerektiriyorsa, sistem mutlaka birinde hata yapar.
Onların çözüm yöntemi çok doğrudur. Ağ artık yalnızca bir ekran görüntüsü almak yerine, en son birkaç kareyi girdi olarak birbirinin üzerine yerleştirir.
Varsayılan ayarda 4 kare olarak alınır, ancak algoritma 3 kare veya 5 kare değerleri için de uyumludur.
Dört kare yan yana konulduğunda, topun hareketi doğrudan konum değişimi olarak ortaya çıkar. Hareket yönü, soyut bir bellek gerektiren bir kavram değil, doğrudan görülebilen bir görsel özellik haline gelir.
Makale, bu yığılmış görüntüleri bellek olarak adlandırmıyor. Temelde, tek bir anadan biraz daha geniş bir giriş kanalı.
Algısal karışıklık ve fiziksel katı sınırlar
Bu giriş genişliğinin son derece sert fiziksel sınırları vardır; Hausknecht ve Stone, bu sınırın nerede olduğunu tam olarak tanımladı.
DQN, agent'in en son yaşadığı dört durumdan oluşan bir girdiyle eğitildiği için, "bir oyun, oyuncunun son dört ekran görüntüsünden daha öncesiyle ilgili olayları hatırlamasını gerektiriyorsa, DQN bu oyunu öğrenemeyecektir."
DQN için, beşinci sondan önceki ekran geçmişleri, girdi aralığında hiç bulunmaz.
Sabit kayan pencere tabanlı bu mekanizma, makine zekâsının zaman serisi işlemedeki temel çelişkisini doğrudan ortaya koyar: Pencere ne kadar genişletilirse genişletilsin, sınırın dışındaki bilgiler fiziksel olarak silinir.