Jeff Dean 談 AI 的下一階段:從 TPU 到自演化代理

icon MarsBit
分享
AI summary icon精華摘要
Jeff Dean 在 YC 創業學校的活動中闡述了人工智慧的下一階段,強調重點正從更大的模型轉向能夠自我修正與進化的系統。他強調了情境工程和長期運行的代理,指出發展重心已從以模型為中心轉向以系統為中心。初創公司可透過針對通用模型難以處理的利基問題來競爭。市場目前處於整合階段,具備強勁風險報酬比的企業可能獲得優勢。

在 2026 年的 YC Startup School 上,Jeff Dean 的聲音有些沙啞。

訪談剛開始,他便解釋自己失聲了,今天聽起來和平時不太一樣。但這並沒有影響台下聽眾的注意力。坐在他面前的 YC 合夥人 Diana Hu,一口氣列出了一串足以寫進計算機史的名字:MapReduce、BigTable、TensorFlow、TPU、Gemini。

代理

任何一個項目,都足以成為一名工程師職業生涯的代表作,但它們卻集中出現在 Jeff Dean 和他身邊的一批 Google 工程師的履歷中。

Diana 沒有把訪談變成一次功績回顧。她更關心另一個問題:當生成式 AI 已經席捲軟體行業,最擅長從底層重構系統的 Jeff Dean,今天究竟在看什麼?

答案並不是更大的模型。

在這場近一小時的對話中,Jeff Dean 多次談到推理硬體、能量、資料搬運、上下文工程、長時間運行的 Agent、自動化實驗系統,以及創業公司如何避開通用模型的正面碾壓。他所講的看似分散,背後卻有一條非常清晰的主線:AI 的下一階段,不只是將模型訓練得更聰明,而是將模型置入一個能長期運作、持續試錯、自動驗證、不斷累積能力的系統中。

This also means that the AI competition is shifting from "who has a larger model" to "who can better organize intelligence."

一、AI 已經像初級工程師,但這不是最重要的變化

在 2025 年 5 月,Jeff Dean 曾做出一個引發廣泛討論的判斷:AI 的能力已接近一名初級工程師。

代理

一年後,Diana 問他,這個預測實現得怎麼樣?

Jeff Dean 的回答很直接。他認為,這個判斷「相當準確」。模型在代理化、長流程編碼和複雜任務上的進步,甚至比他當時預想得更快。

「模型完成越來越複雜任務的能力,增長得比我預期更快。」他說。

更值得注意的是,這種能力不再僅限於編寫代碼。越來越多 Agent 系統開始進入科學、工程和其他專業領域。它們不僅僅是回答問題,而是拆分任務、使用工具、運行實驗、讀取結果,並根據反饋繼續行動。

將 AI 比作初級工程師,容易讓人把注意力放在人力替代上。但 Jeff Dean 更關心的是另一層變化:當一個「初級工程師」可以複製成幾十個、幾百個,並行工作幾天甚至幾週,組織生產的方式會發生什麼變化?

在傳統團隊中,初級工程師需要熟悉業務、理解工具,並持續獲得反饋。Agent 也是如此,只不過它的培訓材料不再僅限於文檔,而是包括提示詞、工具說明、技能文件、測試體系、評估器,以及整個上下文環境。

這使 AI 工程出現了一個新的分工。

過去,工程師主要負責寫代碼。未來,更多工程師會負責定義問題、搭建環境、編寫規範、設計反饋迴路,再調度一群 Agent 去完成任務。

Jeff Dean 對 2027 年的預測正是如此。他認為,機器學習系統會越來越多地參與改進機器學習系統本身。它們會將目標拆解為子問題,自動運行大量實驗,比較結果,再將有效的方案組合起來,形成更強大的新系統。

Wherever there is a measurable goal, there is an opportunity for great progress.

This sentence is the first key to the entire interview.

AI 自動化最先攻入的,不一定是知識最多的領域,而是反饋最清晰的領域。代碼能不能通過測試,晶片佈局能不能降低面積,模型結構能不能提高精度,材料性質是否滿足要求,這些問題都有相對明確的評價標準。只要評價器足夠可靠,機器就能以極高頻率反覆試驗。

因此,AI 時代真正重要的單位,可能不再是一次回答,而是一次完整的閉環:提出方案、執行方案、測量結果、修正方向。

二、改變 Google 搜索的是一道算術題

Jeff Dean 的許多代表性工作,都來自一個非常樸素的起點:先把數量級算清楚。

在 2001 年,Google 搜尋仍大量依賴硬碟。硬碟容量大,但存取速度慢。Jeff Dean 和 Sanjay Ghemawat 做了一次估算,發現 Google 當時的完整搜尋索引,已經可以放進所有伺服器的記憶體裡。

今天聽起來,這只是一次存儲介質升級。但在當時,它意味著完全不同的系統設計。

如果索引主要存放在硬碟上,查詢需要等待機械尋道。只要將索引放入記憶體,存取延遲就能驟降。兩人很快寫出新版本,並在幾天內將其上線至生產環境。Google 搜尋因此明顯變快。

這個故事最容易被包裝成天才靈光一現。但 Jeff Dean 的說法卻更像一名工程師在陳述常識:系統條件改變了,原來不成立的方案突然成立,那就應該重新計算一次。

許多行業創新都發生在這樣的時刻。

一個舊問題長期存在,人們已習慣圍繞它打補丁。後來,硬體價格、記憶體容量、網路頻寬或模型能力跨越某個臨界點,原有的限制消失了。但大多數人仍沿用舊架構,因為舊架構已成為常識。

Jeff Dean 擅長做的,是把常識重新變成假設。

他會問:為什麼一定要這樣?今天的數量級還是昨天的數量級嗎?如果把最貴的一步換掉,整個系統會不會出現完全不同的形態?

這也是他給創業者的建議。不要只看現有方案哪裡不夠好,而要從第一性原理重新看待問題。能不能把性能提高一個數量級?能不能把成本降低兩個數量級?能不能不再沿用行業默認的實現路徑?

有時候,你只需要眯起眼睛看待一個問題,不要被今天的解決方案所束縛,而是從第一性原理出發,思考應該如何解決。

這句話聽起來並不神秘。真正困難的是,大多數人進入一個行業後,會迅速學會這個行業的所有預設答案。經驗能幫助人提升效率,也會讓人失去重新提問的能力。

三、三分鐘語音,為何催生了一顆 TPU

在 2013 年,Google 的深度學習語音識別開始顯著超越舊系統。錯誤率下降了一半,相當於過去二十年語音識別的進展在幾個月內集中發生。

產品團隊當然興奮。但 Jeff Dean 先算了一筆賬。

如果語音識別真的變好,用戶就會更願意使用。假設每名 Google 用戶每天只使用三分鐘語音識別,Google 需要多少伺服器才能支撐?

結果並不樂觀。按照當時 CPU 的效率,Google 可能需要將伺服器規模擴大一倍。

這就是 TPU 的起點。

這不是因為研究團隊突然想製造晶片,也不是為了證明 Google 有能力做硬體,而是因為一個成功的模型即將製造出無法承受的服務成本。

這段歷史揭示了 AI 產品中一個經常被忽略的規律:模型效果提升,並不總是降低成本。恰恰相反,效果越好,使用量越大,系統壓力越重。

當語音識別不好用時,用戶很少調用。系統成本不是問題。當錯誤率大幅下降,需求突然被釋放,原本隱藏在後台的算力約束就會浮出水面。

TPU 選擇的路徑,是為機器學習最核心的計算模式打造專用硬體。它不需要運行瀏覽器,也不需要處理所有通用程式。它主要擅長低精度、稠密線性代數。這類計算恰好位於現代機器學習的中心。

第一代 TPU 最終帶來了數量級的收益。根據 Jeff Dean 的說法,它比當時的 CPU 和 GPU 能效高出 30 到 80 倍,延遲也降低了 20 到 30 倍。

這裡還有一個容易被忽略的設計尺度。

TPU 非常專用,但並未專用到只能運行某一種固定模型。團隊知道機器學習算法還會快速變化,因此將晶片設計成一種較通用的線性代數系統。它犧牲了運行 Chrome 或 Word 的能力,卻保留了支援未來算法演進的空間。

這是一種很難把握的平衡。專用得不夠,收益不明顯。專用得太狠,算法一變,硬體就會過時。

Jeff Dean 對今天推理硬體的判斷,與當年的 TPU 有明顯呼應。他認為,下一轮重要機會仍然在專用化,但重心會進一步轉向低延遲、低能耗推理。

想象一下,如果延遲能改善 50 倍,你可以做什麼。

當模型回覆需要十幾秒時,人們會把它當成一個偶爾諮詢的工具。當延遲接近即時,它才可能真正進入互動介面、機器人、實時視頻、作業系統和連續決策流程。

等待不是一個小體驗問題。等待會改變產品形態。

四、AI 的成本中心不是計算,而是搬運數據

如果要為 2026 年的 AI 工程師更新一版「每個工程師都應該知道的延遲數字」,Jeff Dean 認為,重點應該從硬碟尋道、快取未命中和跨洲網路延遲,轉向晶片內部的資料流。

工程師需要知道:主存到片上記憶體的頻寬是多少,片上記憶體到乘法單元的頻寬是多少,一次乘法需要多少能量,晶片之間如何互連,當 500 顆晶片擴展到 1 萬顆晶片時,網路效率會如何下降。

這些數字看起來與產品遙不可及,實際上卻在決定哪些產品能夠成立。

Jeff Dean 提出了一個極具衝擊力的比例。完成一次數學乘法,大約僅需一皮焦耳的能量。將數據從高頻寬記憶體搬運至運算單元,能量成本可能高出約 1000 倍。

In other words, the expensive operations in today’s AI systems are often not “computing,” but “moving the data to be computed.”

這也解釋了為何批處理如此重要。

當一組模型權重從記憶體搬入計算單元後,若僅處理一個 token,資料搬移成本便全部集中在該單一 token 上。若同時處理更大的批次,同一份權重可服務更多計算,能量與頻寬成本便會被分攤。

但批次處理與低延遲本質上相互衝突。為湊足一批請求,系統往往需要等待。吞吐量提升了,但單個用戶的響應時間可能變慢。

因此,許多看似屬於模型層的問題,其實是硬體和系統問題。訓練為何使用大批次,推理為何需要 KV Cache,模型為何追求低精度,系統為何需要量化,背後都離不開資料搬運和能量約束。

Jeff Dean 近期更關注推理,也正因為推理對延遲極度敏感。訓練任務跑慢一點,往往只是實驗結束得晚。推理任務每多等一秒,都會直接影響用戶體驗和 Agent 的工作效率。

如果一個 Agent 要連續調用模型 1000 次,單次延遲降低 50%,整個任務的完成時間就可能出現巨大差異。更不用說未來 Agent 要運行數天或數週。

因此,AI 的「能源問題」並非一個遙遠的環保議題。它直接決定模型能否以低成本為更多人提供服務,決定 Agent 能否持續運行,也決定創業公司的毛利是否健康。

五、模型只是一個零件,上下文才是 Agent 的工作現場

過去幾年,AI 行業習慣以參數量、訓練數據和基準分數來衡量進步。2026 年,Jeff Dean 更強調模型周圍的一切。

一個真正有用的 AI 系統,除了模型,還需要檢索、工具、記憶、歷史資訊、執行環境和反饋機制。模型知道有哪些工具,知道何時調用工具,知道如何將複雜問題拆成一串動作,也要能比較多種方案,判斷哪一種更可能成功。

這就是「上下文工程」開始走到舞台中央的原因。

Jeff Dean 表示,模型在訓練階段所見的資訊,最終被「攪拌」進數千億乃至數萬億參數中。它們像一鍋濃湯,知識存在,但未必清晰。真正放入當前上下文的資訊,對模型來說更直接,也更容易被準確使用。

這為小團隊留下了一個重要機會。

訓練基礎模型需要海量資本、數據和算力,但上下文工程卻可以從一個 API 開始。創業者可以圍繞具體業務,將領域知識、工具流程、客戶數據和評估標準組織起來,讓通用模型在一個窄場景裡表現得更可靠。

Jeff Dean 举了一个自己的例子。

他與 Sanjay Ghemawat 經常優化 Google 內部的底層庫。這些資料結構可能運行在數百萬個進程中,一 點點 性能差異都會被規模放大。傳統做法是工程師先撰寫微基準,測量當前性能,再修改代碼,重新運行基準,觀察快取佔用和性能變化,然後繼續迭代。

兩人將這套工作方法撰寫成一項 Agent 技能。模型學會了如何運行基準、修改代碼、比較結果,並根據測量結果繼續優化。

我們只是將人類會採用的方法,以模型可以使用的形式交給了它。

This sentence can almost be regarded as a naive definition of prompt engineering.

它不是神秘的提示詞技巧,也不是堆疊更多背景資料。它是在回答三個問題:專家會按什麼步驟做事,系統有哪些可靠工具,結果應該怎樣被驗證。

當這些內容被結構化之後,模型獲得的不是更多知識,而是一套可重複執行的方法。

這也是為什麼「技能(skill)」會成為 Agent 生態中的關鍵資產。一個優秀的技能文件,可能封裝了團隊多年的隱性經驗。它告訴模型遇到某類問題時應先做什麼、哪些錯誤最常見、哪些工具值得信賴,以及什麼結果才算完成。

未來公司的差異化,很可能不僅存在於模型權重中,也存在於這些被編碼至工作流程中的經驗裡。

六、為什麼 Agent 走到第 30 步就開始失控

幾乎所有真正做過 Agent 的團隊,都見過同樣的場景。

前面幾步很順利。模型能理解需求、調用工具、撰寫代碼。但到了第 30 步或第 50 步,它開始忘記目標、誤解狀態、重複動作,或越走越偏離正確方向。

Jeff Dean 將其中一個原因歸結為分佈外問題。

模型在訓練中見過大量常見任務。只要任務仍位於它熟悉的「明亮道路」上,表現通常不錯。一旦連續操作把它帶到不熟悉的状态,性能就會突然下降。越偏離舒適區,錯誤越容易累積。

其中一種解決方法是提供技能和提示,盡量將模型限制在其熟悉的路徑上。另一種方法是使用多 Agent 系統。

多個 Agent 可嘗試不同方案,再由另一個模型擔任評估者,判斷哪些方向更有希望。失敗的分支被捨棄,成功的分支繼續推進。這本質上是在推理階段進行搜索。

它與人類團隊的工作方式並不陌生。面對複雜問題,一個人提出方案,另一個人審查風險,第三個人運行實驗。團隊不會把全部希望押在第一條思路上,而是通過分工和反饋降低單點失誤。

Agent 運行時間越長,系統設計越不能依賴一次正確。

真正可靠的長程 Agent,需要檢查點、狀態管理、回滾、分支探索、外部評估、權限控制和異常恢復。它更像一個分佈式系統,而不是一個超長聊天視窗。

這正是 Jeff Dean 的背景開始重新顯得關鍵的地方。

MapReduce 解決的核心問題之一,就是如何讓大量不可靠的機器完成可靠計算。今天的 Agent 系統面臨類似的矛盾:單次模型調用並不完美,工具也會失敗,但整個任務仍要盡可能穩定地完成。

未來優秀的 Agent 平台,可能會繼承許多分佈式系統思想。任務可以拆分,結果可以驗證,失敗可以重試,狀態可以恢復,局部錯誤不應該摧毀整個流程。

當 Jeff Dean 說 Agent 將運行幾天甚至幾週時,他並非在描述一個更長的聊天,而是在描述一種新的計算基礎設施。

七、兩三個人如何擊敗 Google:尋找模型成功率僅為 1% 的問題

In the context of Startup School, the most discussed question is naturally entrepreneurial opportunities.

Google 可以聯合設計晶片、資料中心、模型和產品。像 Gemini 這樣的通用模型仍在快速擴展能力邊界。一個兩三人團隊,憑什麼贏?

Jeff Dean 的回答並不浪漫。

小團隊的機會,通常存在於通用模型未充分關注的具體領域。創業者可以將產品介面、專有數據、工作流程和領域技能結合起來,在一個狹窄的場景中提供更高的準確率和更好的體驗。

但他隨即發出警告:通用模型正在迅速變強。今天看似獨立的產品功能,六個月或十二個月後,可能被基礎模型直接覆蓋。

Therefore, entrepreneurs need to assess whether their advantages are sustainable.

Jeff Dean 提出了一項非常具體的篩選標準:尋找那些當前通用模型成功率接近 0% 或 1% 的任務,而不是已經能做到 20% 的任務。

如果模型完全失敗,這可能是一個好跡象。如果它已經能完成一部分,只是做得不夠好,那反而未必是好跡象。

原因很簡單。20% 意味著能力已開始出現。更多數據、更大模型和更長推理,很可能迅速將其推至可用狀態。0% 或 1% 則說明任務可能缺少關鍵數據、特殊工具、領域反饋,或需要一種通用模型短期內難以獲得的能力。

這可以稱為 Jeff Dean 的「1% 法則」。

它並不是建議創業者專挑最困難的問題,而是尋找通用模型存在結構性盲區的問題。

這種盲區大致有三類。

第一類是專有數據。通用模型能組織世界信息,卻未必能訪問某個用戶的全部個人資料、某家公司的內部流程、某種設備產生的實時數據。創業產品一旦獲得這些數據,就能形成不同於基礎模型的視野。

第二類是專業評價。許多行業並不缺乏生成能力,而是缺乏可靠的判斷。醫療、材料、晶片、製造和科學研究都需要高質量的驗證器。誰能定義「什麼是對的」,誰就能讓 Agent 持續優化。

第三類是窄而深的模型。AlphaFold 並不是通用聊天模型,它針對蛋白質結構問題建立了高度專業化能力。材料科學、晶片設計和其他專業領域,也可能出現類似機會。

這套判斷對創業者並不輕鬆。它要求團隊既理解模型的能力邊界,也理解行業深處的問題。只懂 AI,容易做出很快被平台吸收的功能;只懂行業,又可能低估模型的進步速度。

真正的機會位於兩者交界處。

八、當代碼不再稀缺時,規格、品味和問題選擇會更貴

Diana 提出一個假設:如果未來每位創始人都能同時管理 50 個、100 個 Agent,所有代碼都由 Agent 撰寫,什麼能力會變得稀缺?

Jeff Dean 的回答是「品味」。

更準確地說,是判斷應該讓 Agent 做什麼。

他認為,研究工作的大部分價值不在於實驗執行得多麼完美,而在於是否選擇了一個值得研究的問題。一個團隊可以用最精湛的方法完成一項無關緊要的研究,也可以抓住一個關鍵問題,只要解決,就能改變整個領域。

After the agent reduces execution costs, the importance of question selection will increase further.

過去,一個模糊的想法會因為開發成本太高而自然消失。未來,只要調動足夠多的 Agent,許多想法都能迅速製成原型。世界不會因此自動出現更多好產品,只會出現更多產品。

規格也會變得更重要。

Jeff Dean 表示,與虛擬 Agent 協作時,目標越清晰,成功率越高。過去,模糊的需求會交給一位資深工程師,對方可以提問,也能依靠共享背景補全意圖。Agent 雖然也能提問,卻更容易在缺少上下文時自行猜測。

一個典型的高成功率任務,是將軟體從一種程式語言遷移至另一種語言。原因並非遷移簡單,而是規格極其完整。舊代碼定義了行為,測試定義了邊界,Agent 可以逐項對照,直到新版本表現一致。

Now that agents can write software for you, it becomes even more important to clearly explain what you want.

This statement has direct implications for so-called AI-native organizations.

未來的管理者不僅僅是分配任務,更要制定更清晰的目標和驗收標準。設計文檔不再只是團隊溝通的材料,也會成為機器執行的輸入。測試、指標、約束和範例,將從開發流程的末端提前至任務定義階段。

至於「品味」如何訓練,Jeff Dean 給出的方法很務實。

寫下一批你認為未來 12 個月會變得重要的事情。你不必全部去做。12 個月後重新檢查,哪些判斷成真,哪些被別人做出來,哪些毫無進展。通過不斷累積預測樣本,人會逐漸校準自己的判斷。

品味並不完全是天賦。它也可以通過複盤訓練。

九、好的思想實驗,先把行業最牢固的前提拿掉

在訪談的後半段,Jeff Dean 分享了一個頗為瘋狂的思想實驗。

過去 60 年,晶片產業一直追求更小、更穩定、錯誤率更低的電晶體。人們普遍認為,同一設計製造出的晶片應盡可能完全一致,位元翻轉越少越好。

在大型分佈式系統中,工程師早已接受單個組件會失效。硬碟會壞,機器會宕機,交換機會出問題。系統可靠性並非來自每個部件絕不出錯,而是來自複製、校驗、冗餘和恢復。

於是 Jeff Dean 問:如果晶體管每天會發生 20 次錯誤,而不是幾百萬年才出一次錯,會怎樣?

這並不是一項現實產品計劃。他只是試圖移除一個習以為常的假設。也許極不可靠的晶體管能以完全不同的方式製造,而系統則透過多路徑和高層冗餘來保證結果。

大多數思想實驗最終都不會變成產品。許多行業做法持續了數十年,確實有充分的理由。但 Jeff Dean 認為,仍應定期重新檢視這些理由。

MapReduce 就來自類似過程。

早期 Google 的爬蟲和索引系統包含大量手動並行代碼、檢查點和故障恢復邏輯。真正的業務計算往往很簡單,例如讀取所有網頁、判斷頁面語言。但大量的系統代碼淹沒了簡單的意圖。

Jeff Dean 和 Sanjay Ghemawat 從函數式編程中獲得靈感。他們將大量任務抽象為 Map 和 Reduce,並將並行化、調度、容錯和重試下沉至統一框架中。業務開發者只需表達計算本身。

這項設計並沒有讓機器變得不出錯。它讓錯誤變得可以被系統吸收。

今天的 Agent 工程也可能處於類似階段。大量團隊仍在為每個任務手動編排提示詞、重試邏輯和工具調用。未來,是否會出現一個像 MapReduce 一樣簡潔的抽象,讓長程 Agent 的分解、驗證、恢復和並行探索成為底層能力?

This may be the perfect opportunity for the next batch of infrastructure companies.

十、AI 開始構建更好的 AI,科學方法被壓縮成高速迴圈

Jeff Dean 對未來最令人興奮的方向,是將科學方法本身自動化。

傳統科研流程是提出假設、設計實驗、運行實驗、分析結果,再產生下一轮假設。這個循環的速度,長期受制於實驗成本和驗證延遲。

AI 可以改變兩部分。

一部分是自動提出並執行更多實驗。另一部分是將昂貴的驗證器轉變為廉價的近似模型。

Jeff Dean 以量子化學為例。研究人員要判斷一種分子構型的性質,可以運行密度泛函理論模擬。一次模擬可能需要一整夜。Google 的研究人員使用大量模擬輸入和輸出訓練了一個神經網絡近似器。它的準確度接近原始模擬器,但速度快了約 30 萬倍。

After the verification speed changes, the form of scientific questions also changes.

過去篩選一千萬個候選方案,可能是一個需要數月算力的項目。現在,研究者吃一頓午飯的時間,系統就能完成初篩。實驗不再是珍貴的單次下注,而變成高頻搜索。

這也是 AlphaEvolve、AlphaChip 等系統背後的共同邏輯。模型提出方案,工具執行方案,評價器篩選結果,優秀結果進入下一轮。只要閉環足夠快,系統就能在巨大的解空間中持續探索。

機器學習本身也會成為這種自動化科學的對象。

今天,大型研究團隊通常由人類提出新架構或訓練方法,先進行小規模實驗,再挑選有潛力的方案進行擴大。Jeff Dean 認為,沒有根本性障礙阻止模型接管越來越多環節。人類提供高層次方向,系統自動探索架構、數據配方和訓練策略,並將成功的實驗組合成新模型。

The metric for measuring research efficiency in the future may not just be FLOPS, but rather “how many valid discoveries are generated per unit of computational power”.

算力當然重要,但如何將算力轉化為發現,更為重要。

十一、被 NeurIPS 拒絕的蒸餾論文,以及如何看待失敗

在 2014 年,Jeff Dean、Geoff Hinton 和 Oriol Vinyals 提交了一篇關於知識蒸餾的論文。今天,知識蒸餾已是模型壓縮與能力遷移中的基礎方法。大模型作為教師,將能力傳遞給更小、更快、更便宜的學生模型。

這篇後來影響深遠的論文,當年卻被 NeurIPS 拒絕。

一名審稿人認為,它「不太可能產生重大影響」。感興趣的讀者可訪問《被拒≠失敗!這些高影響力論文都被頂會拒收過》。

當 Jeff Dean 談到這段經歷時,他並沒有生氣。他說,審稿人可能並不了解大規模 AI 服務所面臨的現實問題。對 Google 而言,將昂貴的大型模型轉化為可服務數億用戶的小型模型,顯然至關重要。但對只關注理論新穎性的審稿人來說,這未必顯得足夠「基礎」。

論文被拒後,團隊將其上傳至 arXiv。業界同樣閱讀了它,並同樣開始使用。

今天,Gemini 的 Flash 模型能夠在較小體量和較低延遲下保持強大能力,蒸餾正是其中的重要方法之一。

這個故事並不只是「堅持就會成功」的勵志素材。它說明評價體系總有盲點。一個方案的價值,有時只有真正經歷過該系統瓶頸的人才能立即看見。

對創業者來說,這同樣重要。

市場、投資者和同行的否定,可能意味著方向錯誤,也可能只是對方沒有處在同一個問題現場。區別在於,團隊是否有足夠具體的證據,知道這個問題為什麼重要,為什麼現在能解決。

Jeff Dean 并未鼓勵人們盲目堅持。他鼓勵的是:理解問題,持續驗證,然後不要將一次評審視為世界的最終判斷。

十二、年輕的 Jeff Dean 今天會做什麼

在訪談接近尾聲時,Diana 提出了一個富有想像力的問題。

如果將 1999 年加入 Google 時的年輕 Jeff Dean 傳送到 2026 年,他會加入一家前沿實驗室,還是和兩三個朋友創辦公司?

Jeff Dean 沒有提供標準答案。

大型組織擁有結構、平台和眾多優秀的同事。在其中,個人可以接觸到自己不了解的知識,並借助成熟的產品影響全球用戶。小型團隊則更自由,但也承擔更大的風險。創始人必須真正相信某個問題,願意花幾年時間承受不確定性。

他提出的判斷標準,比「加入大廠還是創業」更根本。

如果我解決了這個問題,並且最好的結果真的發生了,世界會因此明顯變好吗?還是大家只會說,嗯,挺酷的,然後就這樣?

如果答案只是「挺酷的」,那可能不值得投入最寶貴的時間。

他也強調了同伴的重要性:要尋找能力互補、低自我、願意協作且相處愉快的人。真正困難的問題往往需要長期合作。團隊成員最好各自擁有他人沒有的工具,並在共同工作中持續擴充自己的「工具腰帶」。

這番話有一種老派工程師的樸素。

AI 行業喜歡談論指數增長、超級智慧和巨額融資。但 Jeff Dean 最終仍將選擇落回三件小事:解決一個真正關心的問題,與喜歡的人一起工作,盡力讓世界變得更好。

結語:AI 時代最稀缺的,仍然是把問題看清楚

在 Jeff Dean 的職業生涯中,有許多被反覆講述的傳奇。

他與 Sanjay Ghemawat 在幾天內重寫了搜尋系統,讓索引進入記憶體。一次關於三分鐘語音的估算,推動 Google 製造出 TPU。MapReduce 將大規模並行與容錯隱藏於統一抽象之中。知識蒸餾從一篇被拒的論文,變成了行業基礎技術。

這些故事很容易讓人把他想像成一個不斷獲得靈感的天才。

But from this interview, his approach is actually highly consistent.

先算清數量級。再找到真正的瓶頸。然後質疑默認假設,建立一個更簡單的抽象。最後,用測量和反饋推動系統不斷迭代。

Today, the AI industry is undergoing a similar turning point.

模型已經足夠強大,足以承擔初級工程師級別的任務。接下來,決定實際生產力的,不只是模型的智商,而是推理成本、上下文組織、工具品質、驗證速度和長程運行可靠性。

Agents 將越來越像團隊成員。但它們需要明確的規格、需要技能、需要檢查點、需要評價者,也需要一個能容納失敗的系統。

創業公司的機會也不會消失,只會變得更加嚴苛。最好別去做通用模型已能完成 20% 的事情,而應尋找那些成功率仍接近 0% 或 1% 的問題。那裡可能藏著專有數據、專業評價器、窄領域模型,或全新的系統抽象。

當代碼生成變得越來越便宜時,真正昂貴的將會是問題本身。

什麼值得做?什麼約束已經過時?什麼變化剛剛跨過臨界點?什麼系統如果快 50 倍,會變成完全不同的產品?

Jeff Dean 沒有為 6000 名創業者提供一份機會清單。他提供的是一種更持久的思考方式。

別急著追逐最熱的答案。

先把問題算一遍。

參考連結

https://x.com/ycombinator/status/2082938685071491219

https://www.ycrootaccess.com/p/jeff-dean-the-1-rule-for-building

本文來自微信公眾號「機器之心」(ID:almosthuman2014),作者:Panda

免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款風險披露