GPT-5.4 मेमोरी कम्प्रेशन प्रयोग में सटीकता 54% तक गिर गई

Beating Monitoring के अनुसार, इलिनोइस विश्वविद्यालय के कंप्यूटर विज्ञान के डॉक्टरल छात्र डाइलन ज़हांग ने एजेंट स्मृति पर एक सेट प्रयोग किए, जिनके परिणाम एक असामान्य निष्कर्ष की ओर इशारा करते हैं: मॉडल को बार-बार अनुभव संक्षिप्त करने के लिए प्रेरित करने से उसकी स्मृति खराब हो सकती है। ARC-AGI से सबसे चौंकाने वाले परिणाम ये हैं: शोधकर्ताओं ने GPT-5.4 के बिना स्मृति के सभी 19 प्रश्नों को चुना, जिन्हें वे सही ढंग से हल कर सकते थे, और फिर इन प्रश्नों के वास्तविक हल मॉडल को प्रदान किए, ताकि वह देखते हुए "अनुभव संक्षिप्तीकरण" लिख सके। इसका मतलब है कि यह खुली पुस्तक की तरह पढ़ाई है; हालाँकि, कई पीढ़ियों के स्मृति संकुचन के बाद, समान मॉडल की सटीकता 100% से घटकर 54% हो गई। मूल पथ में कोई त्रुटि नहीं थी, समस्या वहाँ थी जहाँ मॉडल ने सही पथ को सामान्य अनुभव में पुनः लिखा। और यह स्मृति का ह्रास केवल एक मामला नहीं है। WebShop ऑनलाइन खरीदारी कार्य में, AWM स्मृति पद्धति 8 पेशेवर पथों के साथ 0.64 स्कोर प्राप्त करती है, लेकिन पथ 128 होने पर स्कोर 0.20 पर गिर जाता है, जो सटीकतः बिना स्मृति के मूलबिंदु पर पहुँचता है। मतलब, स्मृति जितनी अधिक संचित होती है, उतना ही लाभ स्वयं मिटा दिया जाता है। समस्या "अनुभव कम होने" में नहीं, "बहुत अधिक संक्षिप्तीकरण" में है। महान मॉडल द्वारा लिखा गया "अनुभव" कोई वस्तुनिष्ठ लॉग नहीं है; हर संक्षिप्तीकरण पुनः-उत्पन्न होता है। अंत में, विशिष्ट पूर्वशर्तें हटा दी जाती हैं, विभिन्न कार्यों के नियम मिला-जुला हो जाते हैं, और मूलतः क्रिया को मार्गदर्शन करने वाले विस्तार सुविधाएँ "सबसे सीधी क्रिया पर प्राथमिकता दें" या "सही उपकरण का प्रयोग करें" जैसे, प्रतीत होने में सही परंतु वास्तव में अप्रयोगी, सामान्य कथनों में परिणत हो जाते हैं। मूल पाठ में, 50 संरचित स्मृति कोएकल संकलन में मिला दिया गया, कई कार्यों के अंतर को समान सामान्य प्रक्रिया में समेटा, परिणामस्वरूप, परीक्षण में 6 से 13 सफल प्रतिदर्शों को हटा दिया। लेखकों का सुझाव काफी संयमित है: Agent को प्रत्येक पड़ाव पर "गलत प्रश्नों की पुस्तिका" लिखने के लिए प्रेरित मत करें।अधिक सुरक्षित पद्धति है—चयनित मूल क्रिया पथों को संरक्षित करें,और केवल सचमुचआवश्यकता होने पर ही सामान्यीकरण करें।प्रयोग में,मूल episode को संरक्षित करना,और सामान्यीकरण कोबंद करना,अनेक Agent मानकों परप्रयुक्त संपीड़ित-स्मृति पद्धति कोपीछा करता हैया पार करता है।विकासकर्ताओं के लिए,यह निष्कर्ष सीधा है:मॉडल कोवहीदिखाएँजोउसनेवास्तवमेंकिया,अक्सरउसेअमूर्तनियमोंकेबहुतसेसमूहयाददिलानेसेअधिकउपयोगीहोताहै।