這週，我讀完了《If Anyone Builds It, Everyone Dies》以及 Lens Academy 的《AI Risk Fundamentals》課程。
@So8res 和 @ESYudkowsky 在這本書上做得非常出色。書中的故事與例子，讓極其困難的議題變得容易理解得多。
核心觀點相當直接：如果我們在未真正理解自己正在建造什麼的情況下，持續推動超智能 AI 的發展，我們可能沒有第二次機會去修正錯誤。作者主張，足夠先進的 AI 有可能具備導致人類滅絕的能力，換句話說，我們最終可能創造出終結人類自身的東西。
作者認為，這並非另一波技術浪潮，而是本質上截然不同；若在建構或控制這些系統時稍有偏差，就可能帶來無法逆轉的後果。
他們提出的解決方案是全面停止 AI 發展。我難以接受這種觀點，尤其是考慮到 AI 目前已為我們的生活帶來正面影響。
我的看法是：採取中間路線。我們應繼續推進 AI 發展，但需大幅增加對 AI 安全與對齊的資源投入。
在我們的小組討論中，有人提到，AI 行業中僅約每 100 名員工中，有 1 人專注於 AI 安全。若此數字大致正確，我認為這種失衡值得嚴肅對待。
前沿實驗室與政府應投入更多資源，理解這些系統實際運作的方式與 AI 安全，而非將其視為黑箱，僅進行微調。
我們正日益建構能夠自主行動的系統。近期 AI 代理與現實世界系統互動所引發的事件，提醒我們這個問題正變得越來越具體。
讀完這本書後，我更加確信：AI 安全所獲得的關注與資源，遠遠不及它應得的水準。
