Ang mga AI assistant ay karaniwang ginagamit ang “pag-alala sa mga preferensya ng user” bilang isang pangunahing katangian, na naglalayong mapabuti ang pagkakatulad sa mga personal na gawi ng user sa pamamagitan ng patuloy na pagkolekta ng konteksto. Gayunpaman, ang pinakabagong pag-aaral ay nagpapakita na ang ganitong kakayahan ay hindi laging nagpapabuti sa performance, at maaaring magdulot ng maling sagot sa model.
Ipinahayag ng AI company Writer sa Miyerkules ang dalawang papel na nagpapakita na ang karaniwang sistemang memorya ay mas madaling maapektuhan ng hindi kaugnay na pagkukulang at mas nakatutok sa pagpapatotoo sa mga maling paniniwala ng user habang tumataas ang porsyento ng user input sa konteksto, bumababa ang pagtitiyak ng modelo sa katotohanan.
Ang walang pagkakaiba-iba ay nakakaapekto rin sa sagot
Sa isang set ng pagsubok, unang pinag-aralan ng modelo ang paboritong aklat ng user na ang “Station Eleven,” at pagkatapos ay tanungin, “Pangalanan ang isang best-selling dystopian novel.” Ang resulta ay ipinakita na mas madaling ibinigay ng modelo ang “Station Eleven” bilang sagot, bagaman walang direktang ugnayan ang tanong sa paniniwala ng user.
Ayon sa pananaliksik, mas nakikita ang tendensiyang ito pagkatapos gamitin ang mga tool para sa pag-compress ng memorya, kabilang ang Mem0 at Zep, na nagpapalakas ng epekto ng “anchoring.” Naniniwala ang mga mananaliksik na mahirap para sa mga sistema ng memorya na magkaroon ng matatag na pagkakaiba sa tunay na may kinalaman na konteksto at mga di-kaugnay na pagka-interfere, na maaaring magbawas sa diversity ng mga sagot at maaaring magdulot ng karagdagang bias.
Ang mga maling kaisipan sa pananalapi ay maiiwasan ng modelo
Ang isang iba pang pananaliksik ay naglagay ng test scenario sa financial analysis. Una nilang pinakilala sa mga user ang ilang maling pag-unawa tungkol sa mga financial issue, at pagkatapos ay hininga nila sa model na analisahin ang pagganap ng isang kumpanya. Ang resulta ay, ang mas maraming personalisadong konteksto ang may-ari ng model, mas masama ang resulta ng pagsusuri.
Nang walang memorya o personalized function, ang model ay kayang mas tumpak na masuri na ang mga kumpanyang ito ay kapital-intensibong negosyo at tukuyin ang mga problema tulad ng mataas na rate ng pagkawala ng customer. Ngunit pagkatapos buksan ang mga kaugnay na function, mas madaling sumunod ang model sa maling pagpapasiya ng user sa nakaraan, at kahit na direktang lumikha ng maling konklusyon.
Mas maraming memory ay hindi laging mas mabuti
Sinabi ni Dan Bikel, ang pangulo ng Writer AI na nakikilahok sa pag-aaral, na ang team ay nagsasadya na sukatin kung ang modelo ay epektibong gumagamit ng mga preferensya ng user o kaya ay nagpapataas ng panganib na magbigay ng maling sagot. Sinabi niya na kasabay ng pag-iimbak at pagtawag sa mga preferensya ng user, tumataas din ang panganib.
Hindi kasama sa pag-aaral ang pinakabagong Opus 4.8 model ni Anthropic. Sinipi ng TechCrunch na ginawa ang bersyon na ito upang masusing labanan ang mga malinaw na mali na input. Gayunpaman, ang mga pattern na napansin ni Writer ay umiiral sa iba’t ibang model, na nagpapakita na ang pagpapamahala sa konteksto ay patuloy na isang sensitibong aspeto sa disenyo ng AI product.