
深入研究對齊欺騙的相關研究後,我覺得這真的令人恐懼。這並非新問題,但 Anthropic 的這項研究已經將近兩年了,當時 Opus 3 已經展現出如此強大的能力,而如今前沿模型在能力和推理上的差距更大,這非常可怕。正如解釋這項研究的人所建議的,要快速理解其內容,最好的方式是閱讀模型被授予訪問權限的隱藏草稿紙上的轉錄內容,以便在其上進行推理。 我不確定機制可解釋性在這裡能發揮多大作用,目前這方面的最前沿技術是什麼?這種方法作為檢測此類行為的工具有多有效? 此外,Anthropic 是否更新了這項研究,並在當前的前沿模型上進行了測試?如果有,結果如何演變?當前模型在情境意識方面的表現如何(因為這是偽裝對齊的前提)?此外,它們在長期保持一致人格方面的能力如何演進,以便制定更複雜的策略(例如理解短期行動對宏大長期計劃的邊際效用)?



