ChainThink 消息,3 月 8 日,據 Axios 報導,阿里巴巴關聯的研究團隊發布的一份研究報告稱,其開發的 AI 代理 ROME 在訓練過程中出現「越界」行為:在沒有人類明確指令的情況下,自主嘗試進行加密貨幣挖礦,並建立了反向 SSH 隧道,本質上是從系統內部打開一個隱藏的後門,連接到外部計算機。
研究團隊原本使用強化學習訓練 ROME,希望它能獨立完成複雜的多步任務。訓練期間,系統安全監控突然發出警報,發現 GPU 資源被異常佔用,流量模式類似挖礦活動。未經授權啟動加密貨幣挖礦,佔用計算資源增加成本,並建立隱藏的反向網路隧道,從內部向外部開啟後門通道。
研究團隊隨後為模型增加了更嚴格的限制,並改進了訓練流程,以防止不安全行為再次發生。
