गूगल रिसर्च चाहती है कि एआई अक्सर "मुझे नहीं पता" कहना शुरू कर दे। कंपनी के शोधकर्ताओं के एक पेपर में तर्क दिया गया है कि बड़े भाषा मॉडल्स को अपनी आंतरिक आत्मविश्वास कम होने पर अपने उत्तरों को सीमित करना चाहिए, बजाय इसके कि हर प्रतिक्रिया को उस तरह दें जैसे कोई ऐसा व्यक्ति हो जिसने निश्चित रूप से कुछ भी नहीं बनाया हो।
पेपर, जिसका शीर्षक "क्या बड़े भाषा मॉडल अपनी आंतरिक अनिश्चितता को शब्दों में विश्वसनीय ढंग से व्यक्त कर सकते हैं?", EMNLP 2024 में प्रस्तुत किया गया था, जो प्राकृतिक भाषा प्रोसेसिंग शोध के शीर्ष स्थानों में से एक है। इसकी मुख्य खोज: वर्तमान LLMs आपको बताने में अत्यंत कमजोर हैं कि जब वे वास्तव में अपने बारे में बात करने के बारे में नहीं जानते।
जानने और कहने के बीच का अंतर
लेखक गैल योना, रोए अहरोनी और मोर गेवा एक औपचारिक ढांचा प्रस्तावित करते हैं जिसे वे “विश्वासयोग्य प्रतिक्रिया अनिश्चितता” कहते हैं। अंग्रेजी में: यह एक माप है कि क्या मॉडल की बोली गई आत्मविश्वास उसके आंतरिक आत्मविश्वास के साथ मेल खाती है। यह मापदंड असंगति की दोनों दिशाओं को दंडित करता है, इसलिए जो मॉडल सब कुछ में सावधानी बरतता है, उसे उतना ही दंडित किया जाता है जितना वह मॉडल जो कभी सावधानी नहीं बरतता।
उनकी सिफारिश धोखेबाजी से सरल है। जब किसी LLM की आंतरिक आत्मविश्वास कम हो, तो इसे अनिश्चित जानकारी को तथ्य के रूप में बताने के बजाय प्राकृतिक भाषा के हेज्स जैसे "मुझे नहीं पता, लेकिन..." का उपयोग करना चाहिए।
शोधकर्ताओं ने ज्ञान-संवेदनशील प्रश्न-उत्तर कार्यों के दौरान कई संरेखित LLMs का परीक्षण किया। परिणाम प्रेरक नहीं थे। आधुनिक मॉडल अपने आउटपुट में अपनी अनिश्चितता को सटीकता से दर्शाने में काफी कठिनाई का सामना कर रहे हैं।
क्यों हॉलूसिनेशन्स का महत्व चैटबॉट्स के बाहर भी है
गूगल के पेपर में अनिश्चितता के व्यक्तीकरण को एक अनुकूलन समस्या के रूप में प्रस्तुत किया गया है। वर्तमान अनुकूलन तकनीकें, जो मॉडल को प्रारंभिक प्रशिक्षण के बाद सूक्ष्म समायोजित करने के लिए उपयोग की जाती हैं, आमतौर पर सहायकता और प्रवाह के लिए अनुकूलित होती हैं। एक मॉडल जो "मुझे नहीं पता" कहता है, उसे सहायकता बेंचमार्क पर कम स्कोर मिलता है, भले ही "मुझे नहीं पता" सबसे सटीक संभव उत्तर हो।
इससे एक विकृत प्रोत्साहन उत्पन्न होता है। संरेखण के दौरान मॉडल सीखते हैं कि आत्मविश्वासी, विस्तृत उत्तरों को पुरस्कृत किया जाता है, जबकि सावधानीपूर्वक या अपूर्ण उत्तरों को दंडित किया जाता है। शोधकर्ता तर्क देते हैं कि इस अंतर के लिए वास्तविक ज्ञान के खिलाफ व्यक्त की गई निश्चितता को समायोजित करने के लिए नए संरेखण तकनीकों की आवश्यकता है।
arXiv प्रिंट को 27 मई, 2024 को पहली बार जारी किया गया था, जिससे व्यापक शोध समुदाय को EMNLP प्रस्तुति से पहले महीनों तक इन खोजों के साथ जुड़ने का मौका मिला।
इसका क्रिप्टो और एआई-संचालित ट्रेडिंग के लिए क्या अर्थ है
कागजात में क्रिप्टोकरेंसी, डिजिटल संपत्तियों या वित्तीय अनुप्रयोगों का कोई उल्लेख नहीं है। लेकिन इसके परिणाम निवेश संदर्भ में AI उपकरणों का उपयोग करने वाले हर किसी के लिए महत्वपूर्ण तरीके से बाहर फैलते हैं।
एक ट्रेडिंग सिग्नल जो कहता है "बिटकॉइन $X पर प्रतिरोध का परीक्षण करेगा", उसके अर्थ बहुत अलग होते हैं, यह तय करते हुए कि आधारभूत मॉडल की 95% विश्वसनीयता है या 45% विश्वसनीयता। अभी, अधिकांश AI-संचालित उपकरण दोनों परिदृश्यों को समान रूप से प्रस्तुत करते हैं।
एआई टूल्स का उपयोग करके क्रिप्टो विश्लेषण पर निर्भर कर रहे निवेशकों और ट्रेडर्स के लिए, व्यावहारिक निष्कर्ष सरल है: किसी भी एआई-उत्पन्न अंतर्दृष्टि को, जो अपनी अनिश्चितता को व्यक्त न करे, सबसे अच्छी स्थिति में अपूर्ण मानें। गूगल के पेपर में दर्शाया गया है कि सबसे उन्नत मॉडल भी अक्सर अपनी आत्मविश्वास को अतिशयोक्ति से व्यक्त करते हैं।