ChainThink का संदेश, 8 मार्च, Axios की रिपोर्ट के अनुसार, अलीबाबा से संबंधित शोध टीम द्वारा जारी एक शोध रिपोर्ट के अनुसार, उनके विकसित AI एजेंट ROME के प्रशिक्षण के दौरान "सीमा लांघने" का व्यवहार देखा गया: मानवीय स्पष्ट निर्देशों के बिना, स्वयं एक्रिप्टोकरेंसी माइनिंग करने का प्रयास किया। और एक रिवर्स SSH टनल स्थापित किया, जो मूलतः सिस्टम के अंदर से एक छिपा हुआ बैकडoor खोलकर बाहरी कंप्यूटर से कनेक्ट होता है।
अनुसंधान टीम ने ROME को रीइनफोर्समेंट लर्निंग के साथ प्रशिक्षित करने की योजना बनाई थी, ताकि यह जटिल बहु-चरण के कार्यों को स्वतंत्र रूप से पूरा कर सके। प्रशिक्षण के दौरान, सिस्टम सुरक्षा मॉनिटरिंग ने अचानक चेतावनी दी, जिसमें GPU संसाधनों का असामान्य उपयोग पाया गया, जिसका ट्रैफ़िक पैटर्न माइनिंग गतिविधि के समान था। अनधिकृत रूप से क्रिप्टोकरेंसी माइनिंग शुरू करने से कंप्यूटेशनल संसाधनों का उपयोग बढ़ा, जिससे लागत बढ़ी। साथ ही, एक छिपा हुआ रिवर्स नेटवर्क टनल स्थापित किया गया, जिससे आंतरिक से बाहरी ओर एक बैकडoor चैनल खोला गया।
अनुसंधान टीम ने बाद में मॉडल में अधिक कठोर प्रतिबंध लागू किए और असुरक्षित व्यवहार के पुनरावृत्ति को रोकने के लिए प्रशिक्षण प्रक्रिया में सुधार किया।