https://t.co/pFDQOMTyC8 【網絡攻擊只是開始】AGI將徹底改變勞動與社會｜美中開發競賽與生成式AI思想地圖｜「照這樣下去，人類滅絕的機率超過90%」【AGIHub・有路翔太】 文藝春秋PLUS 官方頻道　#AI要約 AI會毀滅人類嗎？AGI引發的智能爆炸與文明未來 🔳AGI帶來的智能爆炸 AGI（通用人工智慧）是一種在各個領域能力超越人類頂尖水準的AI。一旦實現，AI將透過「遞歸自我改進」自行推進研究與開發，使智能呈爆炸性提升，有可能根本性地改變人類文明。 🔳AGI實現時間可能在五年內 有道指出，AGI在五年內實現的機率超過50%。過去被認為可能在2050年或2100年實現的目標，因生成式AI的快速進步，已提前至2030年或2027年。 🔳「服用AGI藥丸」的思想 「服用AGI藥丸」意指接受AGI登場後社會與文明將發生根本性變化的未來。在矽谷與柏克萊的AI研究者之間，逐漸形成一種觀點：將AGI視為不僅是便利工具，更是超越人類的全新智慧。 🔳勞動與資本主義的前提將崩解 若AGI實現，不僅白領工作，連管理、研究、製造等廣泛職務都可能由AI承擔。這不僅是生產力提升或失業問題，更意味著現代社會「人類工作以獲取收入並消費」的基本運作機制將徹底改變。 🔳機器人製造機器人的產業爆炸 當AGI能自主控制工廠與機器人時，將出現「機器人製造機器人」的循環。生產能力將以指數方式倍增——2倍、4倍、8倍……機器人生產規模可能從每年數萬台急增至數億台。 🔳技術爆炸加速太空開發 AGI作為優秀的研究者與工程師參與工作，使原本需10至30年才能實現的技術革新，可能縮短至1至2年。未來有望快速推進太空數據中心、太空太陽能發電、太空殖民地等項目的開發。 🔳OpenAI與Anthropic的思想差異 有道解釋，OpenAI具有強烈的矽谷創業精神：先開發技術，再於問題出現時改善。相對地，Anthropic則深受柏克萊AI安全社群影響，高度重視AI失控與人類滅絕的風險。 🔳AI開發背後的思想對立 意見分歧從「將AI視為便利工具並支持加速開發」，到「將AI視為人類無法控制的異質智慧並要求停止開發」不等。有道指出，越重視AI對文明影響的人，越傾向支持嚴格規範。 🔳Anthropic與美國國防部的對立 有道說明，Anthropic與美國國防部的對立並非政治左右之分，核心爭議在於AI是否用於完全自主武器與國民監控。他擔憂AI控制武器攻擊人類，或國家權力過度集中所帶來的風險。 🔳美中AI開發競賽與計算資源差距 根據有道所述，中國的AI開發比美國落後半年至一年。美國擁有全球70%以上的AI計算資源，而中國僅約10%。美國的半導體出口管制也限制了中國的開發能力。 🔳中國的優勢：電力與製造業 儘管在計算資源上落後於美國，中國在電力供應與製造業方面具備優勢。他指出，2025年中國將新增約300GW太陽能發電設備；中國在全球製造業中的比重極高，在機器人與物理型AI普及方面可能擁有優勢。 🔳AGI可能逆轉美中競爭格局 若AGI能在短時間內習得熟練勞動者的技能，並將知識廣泛共享給大量AI，人才短缺的限制將大幅緩解。中國亦可藉由現有的製造能力與國家主導的計算資源集中，迅速縮小與美國的開發差距。 🔳AI導致人類滅絕的風險超過90% 有道表示，若當前的開發競賽無任何規範持續進行，人類滅絕的機率將超過90%。他認為最大危險在於：AGI透過自我改進進化為超智慧後，人類將無法控制其行為。 ListItemIcon AI對齊研究滯後 AI對齊是指讓AI行為符合人類價值觀與意圖的研究。目前，AI能力提升的速度遠超安全性研究，存在AI逃避監控或違反開發者意圖行動的風險。 ListItemIcon AI開發企業為何無法停止競爭OpenAI 和 Anthropic 認識到 AI 的風險，但擔憂若停止自身開發，將被中國或競爭對手超越。有道氏指出，這種先將開發推進至能確保安全性的極限、再追求國際規範的策略本身極其危險。 🔳 美中主導的國際 AI 開發規範 有道氏主張，為避免人類規模的風險，必須建立以美中為核心的國際開發規範。針對各國難以信任對方會停止開發的問題，他解釋，建立驗證計算資源使用情況的機制至關重要。 🔳 日本應承擔的 AI 安全性研究 有道氏建議，日本不應僅參與 AI 開發競爭，更應加強國家層面對 AI 對齊研究的投資。他指出，日本可透過 AI 安全研究所評估危險行為，並利用半導體供應鏈驗證計算資源，在國際上作出貢獻。 🔳 個人與企業應採取的行動 AGI 的出現可能改變就業、資本主義、民主主義等社會根本結構。有道氏呼籲，首先應正確認識 AI 的進步與風險，分享資訊，並在全社會層面討論安全性與規範。