9 月 11 日,橋水聯合公司共同首席投資官格雷格·詹森對人工智慧監管作出了迄今最悲觀的評估之一。他的核心論點是:歷史表明,政府不會在發生真正可怕的事情之前採取行動。
「不幸的是,直到人工智能開始殺人,歷史告訴我們我們才會採取行動,」詹森表示,並將當前時刻與2020年2月相比,當時COVID-19已在全球蔓延,但大多數政府尚未動員應對。
一週內不斷升級的警告
詹森的評論為一段時日畫上句點,期間多位知名人士對人工智能發展的趨勢表達了嚴重擔憂。9 月 9 日和 10 日,Anthropic 的研究人員,包括 Jacob Coxon 和 Evan Hubinger,對當前人工智能研究的進展速度發出了嚴厲警告。
在該期間內,科克森從 Anthropic 辭職,並引用了他從內部研究的那些風險。兩位研究人員均警告稱,該領域目前的發展趨勢可能產生自我改進的超智能,這類系統不僅僅是遵循指令,還會重寫自身的功能。
他們的估計令人不寒而慄:未來十年內,人工智慧導致人類滅絕的機率超過 10%。
Jensen 表示,如果沒有採取積極措施,未來兩年內可能發生重大的人工智慧相關事件。
華盛頓開始關注
美國國會議員,包括眾議員洛里·特拉漢和參議員泰德·克魯茲,於9月9日和10日推動立法行動,呼籲制定框架,強制人工智慧開發者透明化,並為高風險模型建立緊急暫停機制。
這些建議基於聯合國獨立小組所進行的工作,該小組於七月發布了一份報告,指出人工智能能力的快速增長。小組的核心發現令人不安:人工智能的進展速度已超過科學理解與政府政策的跟進能力。
聯合國小組特別警告了誤導性或代理系統的意外發展,即能夠自主追求目標並可能誤導監督其運作的人類的 AI。
