
Isang bagay na nakatangi sa akin tungkol sa ExpRL ay ang pagpapakita nito ng isang limitasyon kung paano natin kasalukuyang isipin ang pag-unlad ng AI. Ang karamihan sa mga benchmark ay nagmamasid lamang kung ang modelo ay nakakamit ng tamang sagot. Tila’y rare silang masusukat kung gaano karaming kapaki-pakinabang na ideya ang nasuri at itinapon sa proseso. Ang tao’y pag-usbong ay madalas mula sa mga nabigo nang mga pagsubok. Hindi mula sa mga perpektong pagsubok. Maaaring subukan ng isang siyentipiko ang mga sandaling mali na hipotesis nang higit sa isang daan bago makahanap ng tamang isa. Gayunpaman, ang tradisyonal na RL ay tumuturing sa bawat nabigo na landas bilang magkakaparehong walang halaga. Ang ExpRL ay nagmumungkahi na mayroong mahalagang impormasyon na nakatago sa loob ng mga pagkakamali na iyon. Ang ideyang ito ay tila’y mahalaga pa sa labas ng mga matematikal na benchmark. Habang ang mga AI agent ay naging mas kahusayan, ang mga mananalo ay maaaring hindi ang mga modelo na nakakahanap ng sagot nang pinakamabilis. Maaaring sila ay ang mga modelo na natututo nang pinakamarami mula sa pagkakamali. Ito rin ang dahilan kung bakit mahalaga ang pagsusuri. Kung walang maaasahang paraan upang masukat ang intermediate na pag-iisip at output, hindi natin maibibigay ang pagkakaiba sa produktibong paglalayag at pure na hallucination. Ang kinabukasan ng AI ay maaaring mas maliit ang depende sa paggawa ng sagot. At mas malaki ang depende sa pag-unawa kung aling mga pagkakamali ang worth learning from.
