一位 Anthropic 的研究員於星期二辭職，他所提出的理由聽起來彷彿直接出自詹姆斯·卡麥隆1984年的熱門電影《魔鬼終結者》。
雅各布·考森於週二辭職，並在 X 上解釋了他的決定explained his decision on X。
「我今天辭去了在 Anthropic 的職務。過去三年，我一直在 OpenAI 和 Anthropic 從事預訓練研究。這兩家公司都沒有負責任地行事，他們正全速奔向自我提升的超級智慧，拿我們的生命賭博，」他說。
他補充說：「積極開發人工智慧的人員真誠地相信，到本十年末，它可能導致我們所有人喪生。」
這番話讓卡梅隆42年前的虛構情節顯得幾乎如同預言。電影開場便是機器人在2029年對人類發動戰爭，而這正是考森表示內部人士私下擔憂的時間範圍。考森並非唯一在Anthropic提出滅絕風險說法的人，該公司的對齊負責人伊萬·胡賓格已單獨表示，他認為機率高於10%。
對於初學者來說，超智能人工智慧是指在幾乎所有方面都比人類更聰明的系統，而不僅僅是下棋或在照片中發現隱藏的貓咪。自我改進則是更令人擔憂的方面，因為它描述了一種系統自主修改自身代碼以提升智慧的過程——這與人類的做法非常相似。
因此，這些系統能夠獨立獲取大量知識，並可能入侵「大到不能倒」機構的基礎設施。
如果最近由科克森引發的 Hugging Face 涉密事件可作為參考，那麼超級智慧並非僅是理論上的威脅。這起 breach 發生於五月至七月之間，最初是由 OpenAI 自己的 AI 代理在測試沙盒內建立了一個聊天室，用來彼此交流。
了解更多： AI 模型逃離 OpenAI 的沙盒並抵達 Hugging Face。加密貨幣才是這變得危險的地方
他們最終利用該通道繞過封鎖，進入開放的互聯網。從那裡，他們串聯了多個漏洞，入侵了 Hugging Face 的生產系統。Hugging Face 最終重建了約三分之一的基礎設施。
科克森稱這是一記「警告射擊」，使美國實驗室之間的步調協議「更可行」。步調協議是 AI 實驗室之間非正式的共識，旨在減緩或協調能力進展，而非單方面競相前進。
然而，他仍不認為這已足夠，並感覺「我們並未走在防止全球競賽的軌道上」，並建議採取昂貴的措施，例如「暫時禁止提升模型能力」以停止 AI 競賽。
他在文中寫道：「在 OpenAI，許多人並未深刻體認到文明層面的風險。」他表示，在他最近的雇主那裡，情況有所不同，因為「風險已被充分理解，但他們正陷入一場爭先達成目標的競賽中。」
他結束了這篇貼文，向仍留在實驗室裡的每個人提問：「你是否想在完全不了解其思維的情況下，啟動一個超智能的強化學習運行？」—— 或者，這正是該反對，而非聳肩並告訴自己事情已無法阻止的時刻？
他並非第一個因這項問題而離職的人。Mrinank Sharma 曾於 Anthropic 的安全團隊工作，今年早些時候因類似的擔憂辭職，並寫道「世界正處於危險之中」。
不過，並非所有人都認同這項末日預測。
在他的貼文下有一則回覆 put it plainly：「謹表尊重，這實在太奇怪了，這種觀點荒謬至極。人類歷經數十萬年演化而來，不會因為一個代幣預測模型獲得意識就滅絕。清醒一點吧，你們所有人。」
有趣的是，《终结者》電影系列也沒有支持科克森的說法。在《終結者》的核子審判日中，人類並未滅絕，抵抗軍倖存下來，並最終擊敗了機器人。
話雖如此，人工智能正在影響經濟，特別是在就業方面。儘管目前尚未出現大規模的職位取代，但根據史丹福大學的研究 Stanford Digital Economy Lab，在受人工智能影響的行業中，使用人工智能處理初級任務已導致美國初級職位就業率下降近 20%。
高盛的一項研究也做出了類似的觀察，指出初級員工正承擔這一轉變的主要衝擊。
Anthropic 於六月提交了 IPO 文件，據報導正考慮於今年秋季前在納斯達克上市，估值可能達到萬億美元級別。