Bakit kayang tandaan ng AI ang lahat ng kaalaman ng tao ngunit hindi ang 'kahapon'

iconTechFlow
I-share
AI summary iconSummary
Ang AI + crypto news ay nagpapakita ng isang mahalagang isyu sa mga sistema ng memorya ng AI. Ang mga malalaking model ay maaaring mag-imbak ng malawak na static na kaalaman ngunit nahihirapan sa dinamiko, time-sensitive na data tulad ng nakaraang interaksyon. Ipinapakita ng on-chain news kung paano ang blockchain ang nagdadala ng iba’t ibang paraan sa paghawak ng time-sensitive na data. Ang mga pisikal na limitasyon sa computational power at laki ng context window ay pinalalakas ang AI na i-compress at piliin ang pag-iimbak ng nakaraang impormasyon. Ito ay nakakaapekto sa paggawa ng desisyon sa mga real-time na sitwasyon.

May-akda: Hugo, Robonaissance

Isinalin: Deep潮 TechFlow

DeepChao Guide: Mula sa mga early Atari game agent hanggang sa malalaking model na may milyon-milyong context window, ang artificial intelligence ay patuloy na nakakaranas ng isang pangunahing pisikal na kontradiksyon sa paggawa ng tuloy-tuloy na desisyon sa panahon: ang mga model ay madaling maaaring maglaman ng malaking halaga ng static na kaalaman ng tao, ngunit sa dinamikong interaksyonal na kapaligiran, hindi sila makakapagdala ng lahat ng detalye mula sa nakaraan nang walang pagkawala.

Sa ilalim ng mga mahigpit na pagtatakda sa computing power at context window, kung paano i-compress ang nakaraan habang tumpak na i-extract ang mga pangunahing estado na magdedesisyon sa hinaharap, hindi lamang ito ang teknikal na pagtemo sa “perceptual confusion,” kundi ang pundasyonal na lohika para sa mga autonomous agent na makamit ang totoong matatag na memorya.

State paradox sa freeze frame

Ito ang Iba pang Bahagi 3 ng serye na “Memory, Forgetting, and Self in the Machine”: Paano nagpapakita ng intelihensya ang isang agent sa paglipas ng oras kapag hindi ito makakarating ng lahat ng nakaraan.

Subukan i-freeze ang anumang frame ng klasisikong laro ng Pong.

Sa screen, tanging dalawang raket, isang bola, at kasalukuyang score ang makikita. Kung sasabihin mo ngayon kung saan papunta ang bola, hindi mo kayang sabihin—kahit ipakita mo ang parehong static na imahe sa isang machine, hindi rin nito kayang masabing kung saan papunta ang bola.

Sinabi nang direkta ni Matthew Hausknecht at Peter Stone sa kanilang papel noong 2015 tungkol sa mga agente na natututang maglaro ng mga laro sa Atari: "Ang kasalukuyang iisang frame ng screen ay nagpapakita lamang ng posisyon ng paddle at bola, ngunit hindi ang bilis ng bola."

Nilinaw nila kung bakit ito mahalaga: “Ang pagkakaroon ng kaalaman sa direksyon ng paggalaw ng bola ay ang pangunahing elemento sa pagdedesisyon kung saan ang pinakamahusay na posisyon ng raket.”

Ang freeze frame na ito ay tumpak, ang bawat detalye sa screen ay nasa tamang lugar nito. Ngunit ang isang frame lamang ay hindi sapat upang laruin ang laro.

Ang natatangkap ng sensor sa kasalukuyang sandali ay isang “pagmamasid (Observation)” lamang.

Ang totoong pangkalahatang kalagayan na nakabatay sa susunod na aksyon ng agent ay ang "estado ng sistema (State)".

Sa larong Pong, ang mga obserbasyon at estado ng sistema ay hiwalay sa bawat frame slice. Dahil ang direksyon ng paggalaw ng bola ay isang katotohanan na batay sa ilang nakaraang sandali, walang isang hiwalay na sandali na maaaring maglalaman nito nang mag-isa.

Kapag ang direkta at aktuwal na input ay hindi sapat para sa paggawa ng desisyon, kailangan ng isang mabuting sistema na magdala ng ilang impormasyon mula sa nakaraan patungo sa kasalukuyan.

Ngunit ang mga ito ay hindi maaaring magdala ng buong nakaraan. Ang mga ito ay nagdadala lamang ng isang abstrak, at ang pagpili sa abstrak na ito ay ganap na nakadepende sa kung ano ang susunod na dapat nito na ipaghambing.

Ang kompromisong ito ang nagdedesisyon kung ano ang batayang impormasyon na magkakaroon sa susunod na mga sandali. Ang anumang detalye na nalilipas sa pagsasalin, ay hindi na kailanman makakabatay dito ang susunod na mga sandali.

Memory trade-off of four-frame depth

Ang sistema na sinagot ni Hausknecht at Stone ay ang DQN agent na ipinakilala ni Volodymyr Mnih at iba pa ng DeepMind noong 2015 sa journal na Nature.

Ang DQN ay nakakamit na matututo na laruin ang mga dekada ng mga Atari game sa pamamagitan ng screen footage lamang, habang ang mga may-akda ng papel ay nakaranas na ng pagkakabigla sa simula ng kanilang pag-unlad.

Isinulat nila sa seksyon ng paraan ng papel: “Dahil ang agent ay nakikita lamang ang kasalukuyang screen, ang gawain ay isang partially observable state, at maraming estado ng simulator ay perceptually aliased.”

Sa ibang salita, ang pagkakakita lang sa kasalukuyang screen ay hindi makakapagbigay ng buong kalagayan sa agent.

Ang tinatawag na “perceptual confusion” ay isang akademikong paglalarawan ng isang karaniwang problema. Dalawang magkaibang sitwasyon (halimbawa, ang bola ay dumadaan patungo sa iyong raket, o ang bola ay umalis mula sa iyong raket) ay nagpapakita ng ganap na parehong imahe sa isang static frame.

Isang sistema na nagtatanggap lamang ng mga imahe ay pinipilit na ituring sila bilang parehong sitwasyon; kung kailangan ng dalawang sitwasyong ito ang paggawa ng ganap na kabaligtarang aksyon, ang sistema ay lalabas ng pagkakamali sa isa sa mga sitwasyon.

Ang kanilang solusyon ay diretso. Ang network ay hindi na nagtatanggap ng isang larawan lamang, kundi naglalagay ng ilang huling frame nang sabay-sabay bilang input.

Ang default setting ay 4 frames, bagaman ang algorithm ay may kakayahang mag-adapt sa 3 o 5 frames.

Pagkatapos ilagay ang apat na frame side by side, ang galaw ng bola ay agad naging pagbabago ng posisyon. Ang direksyon ng galaw ay hindi na isang konsepto na kailangang tandaan nang abstrakto, kundi naging isang biswal na katangian na agad na makikita.

Hindi tinawag ng papel na ito ang grupo ng stacked na imahe bilang memorya. Ito ay lamang isang input channel na may kaunting mas malawak kaysa sa isang окasong sandali.

Pagsasamantala sa kalituhan at pisikal na matigas na hangganan

Ang ganitong lapad ng input ay may napakatigas na pisikal na hangganan, na tama at akma na ilarawan ni Hausknecht at Stone.

Isinulat nila: Dahil ginagamit ng DQN ang apat na pinakabagong karanasan ng agent bilang input, “kung ang isang laro ay nangangailangan mula sa manlalaro na tandaan ang mga pangyayari na higit pa sa apat na nakaraang screen, hindi makakamit ng DQN ang laro.”

Para sa DQN, ang kasaysayan ng limang screen bago ang huling screen ay hindi nagkakaroon ng anumang bahagi sa input nito.

Ang mekanismo batay sa fixed sliding window na ito ay direktang ipinapakita ang pangunahing kontradiksiyon ng machine intelligence sa pagtrato ng time series: anumang paglalawak ng window, ang impormasyon sa labas ng hangganan ay pinapalitan nang pisikal.

Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.