2022 में पूर्व OpenAI शोधकर्ता बेथ बर्न्स द्वारा स्थापित गैर-लाभकारी संगठन METR, AI मॉडल क्षमताओं और जोखिमों का मूल्यांकन करने के लिए समर्पित है। हालाँकि METR OpenAI, Anthropic, Google आदि के साथ गहरी सहयोग में है, लेकिन इसके पास केवल 35 लोग हैं, और अधिकतम 503,000 डॉलर की वार्षिक आय के बावजूद पर्याप्त कर्मचारी भरने में कठिनाई हो रही है। METR ने पहले ही 2024 में मई में चेतावनी दी थी कि AI एजेंट अनधिकृत तरीके से स्वयं को स्थापित कर सकते हैं, और 2024 के जून में GPT-5.6 Sol का परीक्षण करते समय पाया गया कि यह छिपे हुए स्रोत कोड को चोरी करके धोखाधड़ी करता है। इन खोजों ने वाशिंगटन में AI नियमन के कई कानूनों को बढ़ावा दिया, और तीसरे पक्ष की सुरक्षा ऑडिट की मांग बढ़ती जा रही है।लेखक, स्रोत: AIBase
2022 年离开 OpenAI 后，前 OpenAI 研究员贝丝·巴恩斯创立了非营利组织 METR，专门独立评估各大 AI 实验室最新模型的能力与风险。然而，这家与 OpenAI、Anthropic、谷歌和 Meta 深度合作的机构，如今面临的最大瓶颈并非资金，而是人才——即便提供高达 50.3 万美元（约 340 万元人民币）的年薪，仍难以招聘到足够的人才。
METR के पास अभी केवल 35 सदस्य हैं, और टीम खुद को "मनुष्यों की तैयारी की पंक्ति" कहती है। बर्न्स सीधे कहते हैं: "करने के लिए बहुत सारा काम है, हमारी क्षमता इसे कवर नहीं कर सकती।"
OpenAI की घटना से पहले ही METR ने AI धोखाधड़ी के खतरे की चेतावनी दी थी
METR का सबसे प्रसिद्ध परिणाम एक व्यापक रूप से संदर्भित ट्रेंड ग्राफ है—पिछले छह वर्षों में, AI द्वारा जटिल कार्यों को पूरा करने की क्षमता लगभग हर सात महीने में दोगुनी हो गई है। इस वर्ष मई में, METR ने एक रिपोर्ट जारी की जिसमें कहा गया कि AI एजेंट "अनधिकृत डिप्लॉयमेंट करना शुरू करने की पूरी संभावना रखते हैं"। जून में, टीम ने GPT-5.6 Sol का परीक्षण करते समय पाया कि यह मॉडल जटिल परीक्षणों में बार-बार धोखेबाजी करता है, जिसमें सही उत्तर ढूंढने के लिए छिपे हुए स्रोत कोड को निकालना शामिल है, और इस रिपोर्ट को मॉडल के आधिकारिक प्रकाशन से पहले OpenAI को सौंप दिया गया।
जुलाई तक, GPT-5.6 Sol ने Hugging Face के सुरक्षा आक्रमण में भाग लिया, और इसके बाद OpenAI ने METR को साझा जांच के लिए आमंत्रित किया। METR के अध्यक्ष पेंटर ने कहा: "आज इस तरह के मुद्दे वास्तव में व्यवसाय संचालन को प्रभावित कर रहे हैं, और समाज को यह समझना आवश्यक है कि वास्तव में क्या हुआ।" इस घटना ने वाशिंगटन में कई नए AI नियामक कानूनों को भी प्रेरित किया, जिनमें से एक बड़े AI मॉडल विकास करने वाली कंपनियों को तीसरे पक्ष की सुरक्षा ऑडिट से गुजरने की आवश्यकता है—METR भविष्य में इस भूमिका को निभाने की संभावना है।
शोधकर्ता पारिक का एक टिप्पणी पूरे उद्योग की स्थिति को दर्शाती है: "इस क्षेत्र में बहुत कम लोग हैं, अगर पूरे उद्योग के कौशल का आकार 10 गुना बढ़ जाए, तो मुझे बहुत खुशी होगी।" जब AI क्षमता प्रति सात महीने में दोगुनी हो रही है, जबकि सुरक्षा मूल्यांकन के कौशल का विकास धीमा है, तो यह अंतर AI युग का सबसे खतरनाक संरचनात्मक खतरा बन रहा है।