作者：Robonaissance
編譯：深潮 TechFlow
深潮導讀：圍棋、國際象棋、蛋白質摺疊——這些看似需要人類直覺與創造力的領域，為何一個接一個被 AI 攻破？本文揭示了一個被忽略的規律：決定 AI 能否超越人類的，不是任務難度，而是能否給成功打分。當一個領域建立了評分標準，它就為自己的被攻克設下了倒計時。
選自《Whatever You Ask For》系列，關於那個機器無法替我們做的唯一工作。
0.0001
2016 年 3 月 10 日，在首爾一家酒店內，一台機器下出了一步房間裡所有人都看不懂的棋，而它的對手當時不在場。
李世石出去抽煙了。他當時 33 歲，手握 18 個世界冠軍頭銜，被公認為那一代最強的圍棋選手。他在前一天的第一局輸了，進入第二局時，賽前的自信收斂了不少，心態更加謹慎。他在外面時，AlphaGo 選擇了第 37 手，DeepMind 研究員黃士傑代替機器，安靜地把棋子放在了棋盤上。
The piece landed on the fifth line.
對不懂圍棋的人來說，這沒什麼意義。對懂的人來說，這近乎胡鬧。在開局和中盤階段，離邊緣那麼遠的位置被認為效率低下，既拿不到實地，也守不住地盤，等於白送分給對手。這是老師會糾正初學者那種下法。解說席上，頂級職業棋手 Michael Redmond 在直播比賽時，一開始以為是棋盤信號出錯了。他拿起一顆棋子，又放了下來。
李世石回來坐下，盯著棋盤看了很久沒動。各種說法從大約 12 分鐘到 15 分鐘不等。五個月前被 AlphaGo 擊敗的歐洲冠軍樊麾當時在樓裡觀戰。他盯著看了很久後的判斷是：「這不是人類的下法。我從沒見人這麼下過。」
他說得對，而且這個正確性是可以量化的。DeepMind 的系統內部有一個估計機制，透過學習大量人類對局，估計在任何局面下人類下出某一手棋的概率。對於第 37 手，這個估計值大約是萬分之一。
機器還是下了，而這手棋贏下了整盤。
對這個故事有一種舒適的解讀，認為機器非常努力地學習人類大師，最終趕上了其中最強的。這種解讀是錯誤的，而萬分之一這個數字恰恰說明了為何錯誤。一個學習模仿人類下法的系統有其上限，這個上限就是人類的下法。首爾發生的事情是，一個系統不再受這個上限約束，因為它被賦予的目標不是獲得人類大師的認可，而是贏棋。
這個區別所指向的方向比讚嘆更有用。如果你想知道哪些人類活動在純粹能力維度上已經輸了，哪些是下一個，你要問的問題不是這個活動有多難、有多需要創造力，或需要多少直覺。問題比那無聊得多。
問題是，成功能否打分。
一盤接一盤
國際象棋在 19 年前就輸了，輸的方式完全不同。
深藍在 1997 年擊敗卡斯帕羅夫，其所使用的架構本質上是一次龐大的人類表達行為。它的評估函數——即評估一個局面並給出一個數值的組件——是在特級大師顧問的協助下組裝和調優的。人類的國際象棋知識被艱辛地從人類棋手中提取出來，寫入機器中。機器所增加的是搜索能力：更快地向前推算更多步，不知疲倦，也不會因注意力分散而丟子。
這是一次真正的勝利，應該算作一次勝利。但請注意它的形態。深藍對國際象棋的理解是人類的理解。它的優勢在於速度。如果你問它為何這樣評估一個局面，答案最終會落回某個告訴它這樣做的誰身上。
20 年後，DeepMind 發布了一個名為 AlphaZero 的系統，形態發生了變化。
AlphaZero 只被賦予了國際象棋的規則。它沒有被提供開局庫——每個嚴肅程式都依賴的經過研究的首著目錄。它沒有被提供殘局表。它沒有被提供任何一盤人類對局。它與自己對弈，從隨機走法開始，並根據什麼能贏來調整自身。
大約四小時後，DeepMind 評估其等級分已超過當時最強的傳統程式 Stockfish 8。大約九小時後，它在限時條件下與 Stockfish 對弈一百局，贏得 28 局，未輸一局，其餘 72 局為和棋。論文報告指出，在 24 小時內，它在國際象棋、將棋和圍棋上均達到超人類水平。
這些數字在被引用時，往往只提一半，而另一半至關重要。自我對弈的棋局是在五千個第一代張量處理單元上生成的，另有六十四個第二代單元用於訓練網絡，全部並行運行。四小時的時鐘時間，代表四小時的計算量——這個計算量，任何個人甚至少數機構都無法組建起來。成就不在於學下象棋很容易，而在於當你擁有如此龐大的算力時，人類的知識不再是你需要的東西。
卡斯帕羅夫比任何在世的人更有理由將這個結果視為針對自己，但他卻在《Science》上發表了一篇評論，表現得極為大度。他的觀察是，AlphaZero 下的並非每個人以為完美機器會下的那種枯燥、謹慎、偏向和棋的國際象棋；它更偏好主動性而非子力，願意為其眼中看似風險的局面棄子。他指出，傳統程式承載了編寫它們的人的優先順序與偏見，而 AlphaZero 則是自己編寫了自己。他得出結論，因此它的風格反映的比程式設計師的品味更真實，並觀察到它每秒檢查的局面遠少於世界上最好的傳統引擎，卻仍獲勝。
這個細節值得記住。傳統引擎每秒搜尋的可能性多得多，卻輸了。AlphaZero 的優勢不在於看得更努力，而在於知道該往哪兒看，而這種知識僅由數百萬局自我對弈和一項關於誰贏的規則組合而成，別無他物。
對有資格理解的人來說，將棋的結果更為奇特。將棋是一種日本棋類，被吃掉的棋子會回到吃掉它的一方手中，這使得局面的波動性超過國際象棋，並且它也積累了數百年的理論，關於如何保護國王的安全。強棋手在觀看機器對局後報告稱，開局違反了已知理論，在每本書都建議國王應縮進角落的時刻，國王卻跑到棋盤中央。這些對局對受過訓練的眼睛來說幾乎無法解讀，但它們卻獲勝了。
將兩個系統並排放置，規律清晰得令人不安。深藍是人類知識加上機器速度。AlphaZero 是機器速度加上勝利的定義，人類知識被刻意移除。移除了人類知識的版本更佳。
這一切並不意味著 2016 年的機器是完美無缺的，同一場首爾比賽包含了證據。
第四局，三盤落後、為尊嚴而戰，李世石在棋盤中央 AlphaGo 的兩塊棋之間楔入了一顆棋子。它後來被稱為神之一手。AlphaGo 自己估算人類會下這手棋的概率，也是萬分之一左右，奇妙地對稱。系統未能應對。它對自己獲勝概率的評估在接下來的幾手裡崩塌了，棋力惡化，輸掉了這盤。
因此，2016 年 3 月，機器身上還有一個洞，一個人類在全世界注視下、在最大壓力下找到了它。這值得明確說出來，而不是悄悄略過。同樣值得提及的是後來發生的事：這類洞被穩步修補，該系統的繼任者不再輸掉這種對局，頂級引擎在嚴肅場合已很久未輸給人類一盤棋了。2016 年的結果是一次轉變的快照，而非永久的力量平衡。
從這些棋盤到其他一切事物，轉移的不是勝利本身，而是機制。國際象棋和圍棋註定會是最早倒下的，原因尷尬地簡單。在遊戲中，成功被規則以完全精確的方式定義。你贏或不贏，評分是免費的、即時的、無可爭議的。一個系統可以在一個週末內與自己對弈四千萬局，獲得四千萬個明確無誤的判決。
這提示了下一個需要關注的地方，不是那些簡單的任務，而是自带計分牌的任務。
五十年難題
蛋白質是氨基酸鏈，在合成的瞬間會折疊成複雜的三維形狀。形狀決定蛋白質的功能，序列決定形狀。自 1970 年代初以來，從前者推導後者一直是生物學的一個開放性問題，而且是以一種抵抗所有嘗試的方式開放：無論是從第一性原理的物理模擬、進化親緣的統計分析，還是數十年累積的結構直覺，全都無法解決。
在 1994 年，John Moult 領導的一組研究人員針對這個事實採取了行動：該領域的每個人聲稱取得進展，卻無人能驗證。
他們舉辦了一場考試。自那以後，每兩年一次，結構預測關鍵評估（CASP）會公布剛剛通過實驗確定的蛋白質結構，有時甚至還在確定中，並將序列向全球公開。任何團隊都可以提交預測。沒有人能接觸到答案，因為有些目標的答案還不存在。當實驗結構出來時，預測會被對照打分。
評分使用一種稱為全局距離測試的指標，範圍從 0 到 100，可粗略理解為鏈條最終位置與實際位置足夠接近的百分比。Moult 曾表示，大約 90 分被非正式地視為與實驗室確定的結構相當。在評估的大部分歷史中，最佳預測徘徊在 60 分左右。
在 2020 年的 CASP14 上，一個註冊為 427 組的參賽者在所有目標上的中位數得分為 92.4。在最難的類別——沒有有用的結構親緣可依賴的目標上，中位數得分為 87.0。平均誤差約為 1.6 埃，大致相當於一個原子的寬度。
Moult 自競賽開始以來一直擔任主席，他在展示圖表前帶觀眾回顧了競賽的歷史。圖表以一張圖說明了整個故事：二十年的線條在 60 分附近緩慢爬行，然後一條線站在其他線條從未到過的地方。
427 組是 AlphaFold2。Moult 宣布，對於單條蛋白質鏈，問題已經解決。
限定詞應該在那裡，應該出現在每一個誠實的敘述中。單條鏈並非蛋白質科學的全部。蛋白質如何組裝成複合物、如何運動、在活細胞內如何表現，這些都仍是開放的問題。封閉的宏大挑戰是一個具體且精確陳述的挑戰。
而這種精確性正是這裡講述這個故事的重點。讓結構預測崩潰的並不是它原本很簡單，因為半個世紀的失敗恰恰說明了相反的情況。真正讓它崩潰的是，1994 年這個領域為自己建立了一個計分板。
將 CASP 視為一項工程而非科學，它提供了什麼？它為任何預測提供了一個明確無誤的成功衡量標準，可在幾秒內計算出來。它提供了一個無法作弊的基準事實，因為答案是由他人在實驗室中物理確定的。它提供了按固定時間表持續產生的新問題流。它提供了三十年來經過評分的歷史嘗試，也就是說，這個領域中什麼是更好、什麼是更差的級別記錄。
一個做了所有這些的領域，在無意中為自己的問題準備好了自動化攻擊。記分牌是前提條件。其他一切是工程和計算，而這兩者在很長時間裡每年都變得更便宜。
這以令人不安的輕鬆方式推廣。哪裡有學科達成了基準共識，哪裡就發布了一個靶子。機器翻譯有評分基準。語音識別有評分基準。圖像分類有一個標註了一百萬張照片的集合和一年一度的競賽，每個看過那個競賽的人都知道故事怎麼結束的。規律不是難的東西先倒，或簡單的東西先倒。規律是被測量的東西先倒。
這對所有尚未被測量的東西提出了顯而易見的問題。
為無法評分的項目評分
最後的防線本應是那些無法打分的東西。
寫作是標準範例。沒有程式能拿一段文字返回一個數字，說它有多好。兩位稱職的編輯意見可能不一致。同一個編輯在不同日子也會與自己意見相左。語言的品質與語境、受眾、目的和品味交織在一起，這些都無法簡化為一個可測量的值。如果機器需要計分板，而語言沒有計分板，那麼語言就是安全的。
這個論證是成立的。發生在它身上的事，是整個敘述中最重要的原因。
這個領域沒有找到客觀的寫作度量標準。至今仍不存在這種東西。它所做的，是利用唯一可用的材料——人類的判斷——來創造一個分數。
這種方法的歷史比大多數人以為的更久遠。2008 年，Knox 和 Stone 描述了一個名為 TAMER 的系統，讓人類觀察智能體的行為並給予評價，這些評價被用來訓練一個模型來預測人類會說什麼。然後由模型而非人類來提供訓練信號。2017 年，Christiano 及其同事發表了一篇被大多數人視為當前實踐直接起源的著作，將這個想法應用於 Atari 遊戲的智能體上。2019 年，Ziegler 及其同事將其應用於語言模型，今天使用的大部分術語就是在那篇論文中確立的。2022 年，Ouyang 及其同事在指令遵循任務上以工業規模展示了這一方法，此後不久，地球上大多數人在不知情的情況下接觸到了這些成果。
其核心機制值得具體了解，因為它比名聲所暗示的要簡單得多。
一個人坐在兩段文字前，這兩段文字都是模型針對同一個提示詞生成的。任務不是給它們打分。打分恰恰是人類做得非常糟糕的事，因為一個人的七分可能是另一個人的五分，而且同一個人在一個下午內的評分也不穩定。任務只是判斷哪一段更好。這是人類能夠可靠作出的判斷，而將一連串這樣的比較轉化為一致量表的數學方法，甚至比其應用領域還要古老，可追溯至 Bradley 和 Terry 於 1952 年對配對比較的研究。
考慮一下做出此類判斷的工作條件，因為它們最終會產生影響。這個人每小時要做出許多次這樣的判斷，領取報酬，並根據一份書面指南，判斷客戶認為什麼是更好的答案。有些配對幾乎完全相同。有些則涉及這個人完全不了解的主題，在這種情況下，通常會選擇更自信、組織得更好的那個答案，無論它是否更準確。這不是對這些人的批評，而是對任何人在這種條件下會如何行動的描述，而由此產生的選擇就是原始材料。
收集足夠多的這些選擇，你就可以訓練第二個模型，其任務是預測人類會更喜歡兩段文本中的哪一段。這第二個模型輸出一個數字。而一個數字就是一直以來唯一缺少的東西。
仔細看看這裡建立的是什麼，因為很容易忽略。被優化的分數並非關於世界的事實，而是關於我們的模型。它是對一組特定人群判斷的壓縮式、學習到的模仿，這些人於特定時間被僱用，在特定指示下工作，並像其他人一樣在下午感到疲倦。CASP 根據實驗室確定的物理現實來評分預測，而這個系統則根據人類認可的統計畫像來評分文本。
這幅畫像很有用，但它也必然是一種近似，與所描繪的對象之間存在差異，而這些差異沒有人完全弄清楚。我們的偏好模型未能捕捉到的關於我們實際偏好的任何內容都不在目標之中，因此不會被優化，因而會受到任何情況的影響——而強大的優化器沒有理由保護這個量。
這是關於構造的事實，這裡陳述時並未對後果有多糟糕作出任何主張。眼前的重點更狹窄且更難反駁。無法評分的事物類別比看起來的要小。如果一個領域抵制測量，可以從人類偏好中構建出一個測量並繼續前進。這道防線只在沒有人想到製造分數時才有效。
接下來會倒下什麼
這留下了一個實際問題，和一個可用的答案。
選擇任何你喜歡的活動：一份工作、一門手藝、一項職業、一項你花了多年時間學會做好的任務。問三個問題。
第一，成功與失敗能可靠地分開嗎？不是完美地，也不是每個人都能，但要足夠一致，讓有能力的評判者大多數時候意見一致。遊戲輕鬆通過這一關。蛋白質結構預測通過這一關是因為實驗室最終會產生答案。寫作在絕對意義上不通過，但在相對意義上通過，因為人們通常能說出兩次嘗試中哪一次更好。
第二，這種判斷能以低成本大規模產生嗎？這個問題決定的是時機，而不是可能性。一個免費且即時的判斷，例如在遊戲中，意味著系統可以自行生成數百萬條訓練數據。一個需要實驗室的判斷較慢，但仍然可行，並有三十年的評分嘗試檔案。一個需要付費人類閱讀文本的判斷非常昂貴，這正是為何投入了如此多努力來訓練模型模仿這些人類，並將他們從循環中移除。
第三，這個決定的不是一個領域何時倒下，而是之後會發生什麼：這個分數真的是你想要的東西嗎？遊戲的分數是你想要的東西，因為在遊戲中，獲勝根據定義就是全部意義。根據實驗測量的蛋白質結構非常接近你想要的東西。一個標註者偏好的學習模型不是你想要的東西。它是你想要的東西的畫像，而畫像和面孔之間存在差距。
用這三個問題檢驗你自己的工作。大多數人發現第一個答案來得很快而且令人不安。我們稱之為技能的大多數東西，至少在相對意義上，當有能力的人並排進行兩次嘗試時是可以評分的。第二個問題是真正的不確定性所在，因為成本和規模是移動目標，而且它們已經朝著一個方向移動了很長時間。第三個問題幾乎沒有人問，而它決定了你的領域在另一邊是什麼樣子。
在一些普通的事情上慢慢做這個練習是值得的。以放射科為例。成功和失敗能區分開嗎？可以，而且非常精確，因為診斷最終會被患者的實際情況證實或反駁。判斷能低成本、大規模地產生嗎？基本可以，因為醫院幾十年來一直在以圖像及確認結果的形式累積評分樣本。這個分數是你想要的東西嗎？這裡的答案變得複雜，因為評分的是與記錄診斷的一致性，而你真正想要的是患者狀況良好，這兩件事大多數時候一致，但恰恰在最重要的情況下會分離。
現在拿一個看起來更安全的東西來說，比如管理。第一個問題就已經很難了，因為對於一個給定的管理者是否優秀，有能力的人意見不一，而且這些分歧不會迅速解決。第二個問題更難，因為管理決策的結果要多年後才會出現，並且與其他所有發生的事情糾纏在一起。第三個問題最難，因為任何人提出的良好管理的替代指標——無論是留存率、員工投入度分數還是人均產出——顯然都不是事情本身。根據這個診斷，管理並非因為深刻而安全，它是未被衡量的，這是一種不同、且不那麼令人滿意的保護。
機器已經佔據了優化軸。在任何明確指定的目標上，只要有足夠的計算能力，尋找好著法就不再是競賽，而且結果往往不僅比我們的更強，而且更陌生，抵達了我們傳統教導我們不要去看的地方。這不是預測。這是對國際象棋、圍棋、將棋、蛋白質結構，以及越來越多曾經列在只有人類才能做到的清單上的事物的描述。
剩下的就是目標本身。有人決定了分數是什麼。在上述每一個案例中，那個決定花了一個下午，而每一個非凡的成果都源自它、忠於它，並對其遺漏的任何東西漠不關心。
所以最後一個問題值得深思。在你的工作中，已經有分數了嗎？如果有，是誰寫的，他們寫的時候有想到你嗎？
這是《Whatever You Ask For》系列的第二部分，關於機器最後需要我們什麼，以及我們做得有多糟。