Jeff Dean về giai đoạn tiếp theo của AI: Từ TPU đến các tác nhân tự tiến hóa

Tại Startup School của YC năm 2026, giọng của Jeff Dean hơi khàn.

Ngay từ đầu buổi phỏng vấn, anh ấy đã giải thích rằng mình đã mất tiếng, nên hôm nay giọng nói khác thường ngày. Nhưng điều này không làm giảm sự chú ý của khán giả dưới sân khấu. Diana Hu, đối tác của YC, ngồi đối diện với anh ấy, liệt kê liên tục một danh sách những cái tên xứng đáng được ghi vào lịch sử máy tính: MapReduce, BigTable, TensorFlow, TPU, Gemini.

Mỗi dự án đều đủ để trở thành tác phẩm tiêu biểu trong sự nghiệp của một kỹ sư. Nhưng chúng lại tập trung xuất hiện trong hồ sơ của Jeff Dean và nhóm kỹ sư Google xung quanh ông.

Diana không biến cuộc phỏng vấn thành một buổi tổng kết thành tựu. Cô quan tâm hơn đến một câu hỏi khác: Khi AI tạo sinh đã tràn ngập ngành phần mềm, thì Jeff Dean – người giỏi nhất trong việc tái cấu trúc hệ thống từ nền tảng – hiện đang chú ý đến điều gì?

Câu trả lời không phải là mô hình lớn hơn.

Trong cuộc trò chuyện kéo dài gần một giờ, Jeff Dean liên tục nhắc đến phần cứng suy luận, năng lượng, vận chuyển dữ liệu, kỹ thuật ngữ cảnh, agent chạy dài hạn, hệ thống thí nghiệm tự động, và cách các công ty khởi nghiệp tránh va chạm trực tiếp với các mô hình phổ quát. Những điều ông nói có vẻ phân tán, nhưng đằng sau đó là một chủ đề rất rõ ràng: giai đoạn tiếp theo của AI không chỉ là huấn luyện mô hình thông minh hơn, mà là đặt mô hình vào một hệ thống có thể hoạt động lâu dài, liên tục thử nghiệm và sai sót, xác minh tự động và tích lũy năng lực không ngừng.

Điều này cũng có nghĩa là cuộc cạnh tranh về AI đang chuyển từ “ai có mô hình lớn hơn” sang “ai có thể tổ chức trí tuệ tốt hơn”.

Tháng 5 năm 2025, Jeff Dean đã đưa ra một phán đoán gây ra nhiều tranh luận: năng lực của AI đã gần với một kỹ sư cấp sơ cấp.

One year later, Diana asked him how the prediction had turned out.

Câu trả lời của Jeff Dean rất trực tiếp. Ông cho rằng phán đoán này “khá chính xác”. Sự tiến bộ của mô hình trong việc trở thành tác nhân, mã hóa chuỗi dài và xử lý các nhiệm vụ phức tạp thậm chí còn nhanh hơn so với những gì ông từng dự đoán.

“Khả năng của mô hình trong việc thực hiện các nhiệm vụ ngày càng phức tạp tăng trưởng nhanh hơn tôi dự kiến,” anh ấy nói.

Đáng chú ý hơn, khả năng này không còn bị giới hạn trong việc viết mã. Ngày càng nhiều hệ thống Agent đang bước vào các lĩnh vực khoa học, kỹ thuật và các ngành chuyên môn khác. Chúng không chỉ trả lời câu hỏi, mà còn phân chia nhiệm vụ, sử dụng công cụ, chạy thí nghiệm, đọc kết quả và tiếp tục hành động dựa trên phản hồi.

So sánh AI với kỹ sư cấp thấp dễ khiến người ta tập trung vào việc thay thế lao động. Nhưng Jeff Dean quan tâm hơn đến một thay đổi khác: Khi một “kỹ sư cấp thấp” có thể được nhân bản thành hàng chục, hàng trăm người, làm việc song song trong vài ngày thậm chí vài tuần, thì cách thức tổ chức sản xuất sẽ thay đổi như thế nào?

Trong các đội ngũ truyền thống, kỹ sư cấp thấp cần làm quen với nghiệp vụ, hiểu rõ các công cụ và liên tục nhận phản hồi. Agent cũng vậy. Tuy nhiên, tài liệu đào tạo của nó không chỉ là tài liệu, mà còn bao gồm các lời nhắc, hướng dẫn công cụ, tệp kỹ năng, hệ thống kiểm thử, bộ đánh giá và toàn bộ môi trường ngữ cảnh.

Điều này đã tạo ra một sự phân công mới trong lĩnh vực kỹ thuật AI.

Trước đây, các kỹ sư chủ yếu chịu trách nhiệm viết mã. Trong tương lai, ngày càng nhiều kỹ sư sẽ chịu trách nhiệm xác định vấn đề, thiết lập môi trường, viết quy định, thiết kế vòng phản hồi, sau đó điều phối một nhóm Agent để hoàn thành nhiệm vụ.

Dự đoán của Jeff Dean về năm 2027 chính xác là như vậy. Ông cho rằng các hệ thống học máy sẽ ngày càng tham gia vào việc cải tiến chính bản thân chúng. Chúng sẽ chia nhỏ mục tiêu thành các vấn đề con, tự động chạy hàng loạt thí nghiệm, so sánh kết quả, sau đó kết hợp các giải pháp hiệu quả để tạo ra các hệ thống mới mạnh mẽ hơn.

Khi một lĩnh vực có mục tiêu có thể đo lường được, luôn có cơ hội đạt được những tiến bộ lớn.

This sentence is the first key to the entire interview.

Lĩnh vực đầu tiên mà AI tự động hóa xâm nhập không nhất thiết là lĩnh vực có nhiều kiến thức nhất, mà là lĩnh vực có phản hồi rõ ràng nhất. Mã có thể vượt qua bài kiểm tra không, bố cục chip có giảm được diện tích không, cấu trúc mô hình có cải thiện độ chính xác không, tính chất vật liệu có đáp ứng yêu cầu không—những câu hỏi này đều có tiêu chí đánh giá tương đối rõ ràng. Chỉ cần bộ đánh giá đủ đáng tin cậy, máy móc có thể lặp lại thử nghiệm với tần suất cực cao.

Vì vậy, đơn vị quan trọng thực sự trong thời đại AI có thể không còn là một câu trả lời đơn lẻ, mà là một vòng khép kín hoàn chỉnh: đề xuất giải pháp, thực hiện giải pháp, đo lường kết quả và điều chỉnh hướng đi.

Nhiều công trình tiêu biểu của Jeff Dean đều bắt nguồn từ một điểm xuất phát rất đơn giản: trước tiên hãy tính rõ thứ tự độ lớn.

Năm 2001, tìm kiếm của Google vẫn chủ yếu dựa vào ổ cứng. Ổ cứng có dung lượng lớn nhưng tốc độ truy cập chậm. Jeff Dean và Sanjay Ghemawat đã thực hiện một phép ước tính và phát hiện ra rằng toàn bộ chỉ mục tìm kiếm của Google lúc đó đã có thể đặt vừa vào bộ nhớ của tất cả các máy chủ.

Nghe có vẻ như chỉ là một lần nâng cấp phương tiện lưu trữ. Nhưng vào thời điểm đó, nó mang ý nghĩa của một thiết kế hệ thống hoàn toàn khác biệt.

Nếu chỉ mục chủ yếu nằm trên ổ cứng, truy vấn sẽ phải chờ thời gian tìm kiếm cơ học. Chỉ cần đưa chỉ mục vào bộ nhớ, độ trễ truy cập sẽ giảm mạnh. Hai người nhanh chóng viết phiên bản mới và đưa nó vào môi trường sản xuất trong vài ngày. Kết quả là Google Search trở nên nhanh rõ rệt.

Câu chuyện này dễ dàng được gói gọn thành một phát minh bùng nổ của thiên tài. Tuy nhiên, cách Jeff Dean kể lại lại giống như một kỹ sư đang trình bày một điều hiển nhiên: điều kiện hệ thống đã thay đổi, phương án trước đây không còn hợp lệ nay lại trở nên khả thi, vậy thì nên tính toán lại một lần nữa.

Many industry innovations occur at moments like these.

Một vấn đề cũ đã tồn tại lâu dài, và mọi người đã quen với việc vá đắp xung quanh nó. Sau đó, giá phần cứng, dung lượng bộ nhớ, băng thông mạng hoặc khả năng mô hình vượt qua một ngưỡng nhất định, khiến các ràng buộc ban đầu biến mất. Tuy nhiên, phần lớn mọi người vẫn tiếp tục sử dụng kiến trúc cũ, vì kiến trúc đó đã trở thành điều hiển nhiên.

Jeff Dean chuyên làm việc biến những điều hiển nhiên trở lại thành giả định.

Anh ấy sẽ hỏi: Tại sao phải làm như vậy? Số lượng hôm nay vẫn là số lượng của hôm qua không? Nếu thay thế bước đắt nhất, toàn bộ hệ thống có sẽ có hình thái hoàn toàn khác không?

Đây cũng là lời khuyên anh ấy dành cho các nhà khởi nghiệp. Đừng chỉ nhìn vào những điểm chưa tốt trong các giải pháp hiện có, mà hãy xem lại vấn đề từ nguyên lý cơ bản nhất. Liệu có thể tăng hiệu suất lên một cấp độ? Liệu có thể giảm chi phí xuống hai cấp độ? Liệu có thể không còn tuân theo con đường triển khai mặc định của ngành?

Đôi khi, bạn chỉ cần nhìn vấn đề với ánh mắt khác đi, đừng bị ràng buộc bởi cách giải hôm nay, mà hãy suy nghĩ từ nguyên lý cơ bản nhất để tìm ra cách giải quyết phù hợp.

Câu này nghe không hề bí ẩn. Điều thực sự khó khăn là, đa số mọi người sau khi bước vào một ngành nghề sẽ nhanh chóng học thuộc mọi câu trả lời mặc định trong ngành đó. Kinh nghiệm giúp con người nâng cao hiệu suất, nhưng cũng khiến họ mất đi khả năng đặt lại câu hỏi.

Năm 2013, nhận dạng giọng nói học sâu của Google bắt đầu vượt rõ rệt các hệ thống cũ. Tỷ lệ lỗi giảm một nửa, tương đương với toàn bộ tiến bộ trong nhận dạng giọng nói trong hai thập kỷ qua đã xảy ra trong vài tháng.

Đội ngũ sản phẩm đương nhiên rất hào hứng. Nhưng Jeff Dean lại tính toán trước một khoản chi phí.

Nếu nhận dạng giọng nói thực sự cải thiện, người dùng sẽ sẵn sàng sử dụng nhiều hơn. Giả sử mỗi người dùng Google chỉ sử dụng ba phút nhận dạng giọng nói mỗi ngày, Google cần bao nhiêu máy chủ để hỗ trợ?

Kết quả không khả quan. Theo hiệu suất của CPU lúc đó, Google có thể cần tăng quy mô máy chủ lên gấp đôi.

Đây là điểm khởi đầu của TPU.

Nó không phải vì nhóm nghiên cứu đột ngột muốn chế tạo chip, cũng không phải để chứng minh Google có khả năng làm phần cứng, mà vì một mô hình thành công sắp tạo ra chi phí dịch vụ không thể gánh nổi.

Lịch sử này tiết lộ một quy luật thường bị bỏ qua trong các sản phẩm AI: hiệu suất mô hình cải thiện không nhất thiết làm giảm chi phí. Ngược lại, hiệu suất càng tốt, lượng sử dụng càng cao, áp lực hệ thống càng lớn.

Khi nhận diện giọng nói không hoạt động tốt, người dùng hiếm khi sử dụng. Chi phí hệ thống không phải là vấn đề. Khi tỷ lệ lỗi giảm mạnh, nhu cầu đột ngột được giải phóng, các ràng buộc về sức mạnh tính toán vốn ẩn sau hậu trường sẽ nổi lên.

TPU chọn con đường phát triển phần cứng chuyên dụng cho mô hình tính toán cốt lõi nhất của học máy. Nó không cần chạy trình duyệt hay xử lý tất cả các chương trình phổ thông. TPU đặc biệt giỏi trong các phép đại số tuyến tính mật độ cao với độ chính xác thấp. Loại tính toán này chính là trung tâm của học máy hiện đại.

TPU thế hệ đầu tiên đã mang lại lợi ích về mặt số lượng. Theo Jeff Dean, nó tiết kiệm năng lượng từ 30 đến 80 lần so với CPU và GPU thời điểm đó, đồng thời giảm độ trễ từ 20 đến 30 lần.

Ở đây còn có một thước đo thiết kế dễ bị bỏ qua.

TPU rất chuyên dụng, nhưng không chuyên dụng đến mức chỉ có thể chạy một mô hình cố định nào đó. Nhóm biết rằng các thuật toán học máy sẽ tiếp tục thay đổi nhanh chóng, nên đã thiết kế chip thành một hệ thống đại số tuyến tính khá tổng quát. Nó hy sinh khả năng chạy Chrome hoặc Word, nhưng vẫn giữ được không gian để hỗ trợ sự phát triển của các thuật toán trong tương lai.

Đây là một sự cân bằng rất khó nắm bắt. Nếu sử dụng không đủ, lợi nhuận sẽ không rõ rệt. Nếu sử dụng quá mức, chỉ cần thuật toán thay đổi, phần cứng sẽ trở nên lỗi thời.

Phán đoán của Jeff Dean về phần cứng suy luận ngày nay có sự phản ánh rõ ràng với TPU thời điểm đó. Ông cho rằng, cơ hội quan trọng tiếp theo vẫn nằm ở sự chuyên biệt hóa, nhưng trọng tâm sẽ tiếp tục chuyển sang suy luận độ trễ thấp và tiêu thụ năng lượng thấp.

Hãy tưởng tượng xem, nếu độ trễ có thể cải thiện 50 lần, bạn có thể làm được gì.

Khi mô hình trả lời mất vài chục giây, mọi người sẽ coi nó như một công cụ dùng để thỉnh thoảng hỏi ý kiến. Khi độ trễ gần như tức thì, nó mới thực sự có thể bước vào giao diện tương tác, robot, video thời gian thực, hệ điều hành và các quy trình ra quyết định liên tục.

Sự chờ đợi không phải là một vấn đề trải nghiệm nhỏ. Sự chờ đợi sẽ thay đổi hình thái sản phẩm.

Nếu muốn cập nhật phiên bản mới của “Các con số độ trễ mà mọi kỹ sư nên biết” dành cho kỹ sư AI năm 2026, Jeff Dean cho rằng trọng tâm nên chuyển từ tìm kiếm đĩa cứng, lỗi bộ nhớ đệm và độ trễ mạng liên lục địa sang dòng dữ liệu bên trong chip.

Các kỹ sư cần biết: băng thông từ bộ nhớ chính đến bộ nhớ trên chip là bao nhiêu, băng thông từ bộ nhớ trên chip đến đơn vị nhân là bao nhiêu, một phép nhân cần bao nhiêu năng lượng, các chip kết nối với nhau như thế nào, và hiệu suất mạng sẽ giảm xuống bao nhiêu khi mở rộng từ 500 chip lên 10.000 chip.

Những con số này trông có vẻ xa rời sản phẩm, nhưng thực tế lại quyết định sản phẩm nào có thể thành công.

Jeff Dean đã đưa ra một tỷ lệ cực kỳ ấn tượng. Để thực hiện một phép nhân toán học, chỉ cần khoảng một picojoule năng lượng. Việc di chuyển dữ liệu từ bộ nhớ băng thông cao đến đơn vị tính toán có thể tốn năng lượng cao hơn khoảng 1000 lần.

Nói cách khác, những hành động tốn kém trong hệ thống AI hôm nay thường không phải là “tính toán”, mà là “di chuyển những thứ cần tính toán đến”.

Điều này cũng giải thích tại sao xử lý hàng loạt lại quan trọng như vậy.

Sau khi một bộ trọng số mô hình được tải từ bộ nhớ vào đơn vị tính toán, nếu chỉ xử lý một token, chi phí di chuyển dữ liệu sẽ hoàn toàn dồn hết lên token đó. Nếu xử lý đồng thời một lô lớn hơn, cùng một bộ trọng số có thể phục vụ nhiều phép tính hơn, từ đó phân bổ chi phí năng lượng và băng thông.

Tuy nhiên, xử lý hàng loạt và độ trễ thấp vốn mâu thuẫn tự nhiên. Để tích lũy đủ một nhóm yêu cầu, hệ thống thường phải chờ đợi. Thông lượng tăng lên, nhưng phản hồi cho từng người dùng có thể trở nên chậm hơn.

Do đó, nhiều vấn đề dường như thuộc về lớp mô hình thực chất là các vấn đề phần cứng và hệ thống. Lý do huấn luyện sử dụng kích thước lô lớn, lý do suy luận cần KV Cache, lý do mô hình theo đuổi độ chính xác thấp, và lý do hệ thống cần lượng tử hóa, tất cả đều không thể tách rời khỏi các ràng buộc về di chuyển dữ liệu và năng lượng.

Jeff Dean gần đây tập trung nhiều hơn vào suy luận, chính vì suy luận cực kỳ nhạy cảm với độ trễ. Việc đào tạo chạy chậm hơn thường chỉ khiến thí nghiệm kết thúc muộn hơn. Nhưng mỗi giây chờ thêm trong nhiệm vụ suy luận đều ảnh hưởng trực tiếp đến trải nghiệm người dùng và hiệu suất làm việc của Agent.

Nếu một Agent phải gọi mô hình liên tiếp 1000 lần, việc giảm độ trễ mỗi lần đi 50% có thể tạo ra sự khác biệt lớn về thời gian hoàn thành toàn bộ nhiệm vụ. Chưa kể đến tương lai khi Agent cần chạy trong vài ngày hoặc vài tuần.

Do đó, "vấn đề năng lượng" của AI không phải là một chủ đề môi trường xa vời. Nó trực tiếp quyết định liệu mô hình có thể phục vụ nhiều người hơn với chi phí thấp hay không, quyết định liệu Agent có thể chạy liên tục hay không, và cũng quyết định lợi nhuận gộp của các công ty khởi nghiệp có lành mạnh hay không.

Trong vài năm qua, ngành AI thường đo lường tiến bộ bằng số lượng tham số, dữ liệu huấn luyện và điểm chuẩn. Năm 2026, Jeff Dean nhấn mạnh hơn vào mọi thứ xung quanh mô hình.

Một hệ thống AI thực sự hữu ích, ngoài mô hình, còn cần truy xuất dữ liệu, công cụ, bộ nhớ, thông tin lịch sử, môi trường thực thi và cơ chế phản hồi. Mô hình phải biết có những công cụ nào, biết khi nào nên gọi công cụ, biết cách chia nhỏ các vấn đề phức tạp thành một chuỗi hành động, đồng thời có thể so sánh nhiều phương án và xác định phương án nào có khả năng thành công cao hơn.

Đó là lý do tại sao "nguyên tắc ngữ cảnh" bắt đầu bước ra ánh đèn.

Jeff Dean cho biết, thông tin mà mô hình đã thấy trong giai đoạn huấn luyện cuối cùng được “khuấy” vào hàng trăm tỷ乃至 hàng nghìn tỷ tham số. Chúng giống như một nồi súp đặc, kiến thức tồn tại, nhưng không nhất thiết rõ ràng. Thông tin thực sự được đưa vào ngữ cảnh hiện tại thì đối với mô hình sẽ trực tiếp hơn và dễ được sử dụng chính xác hơn.

Điều này mang đến cơ hội quan trọng cho các nhóm nhỏ.

Việc huấn luyện mô hình cơ bản đòi hỏi vốn, dữ liệu và sức mạnh tính toán khổng lồ. Trong khi đó, kỹ thuật ngữ cảnh có thể bắt đầu chỉ với một API. Các doanh nhân có thể tổ chức kiến thức lĩnh vực, quy trình công cụ, dữ liệu khách hàng và tiêu chí đánh giá xung quanh các doanh nghiệp cụ thể, giúp mô hình phổ quát hoạt động đáng tin cậy hơn trong một bối cảnh hẹp.

Jeff Dean đã đưa ra một ví dụ của chính mình.

Anh ấy và Sanjay Ghemawat thường xuyên tối ưu hóa các thư viện nền tảng bên trong Google. Những cấu trúc dữ liệu này có thể chạy trên hàng triệu tiến trình, một Click Sự khác biệt về hiệu suất đều bị khuếch đại bởi quy mô. Cách làm truyền thống là các kỹ sư trước tiên viết các benchmark vi mô, đo hiệu suất hiện tại, sau đó sửa đổi mã, chạy lại benchmark, quan sát việc sử dụng bộ nhớ đệm và sự thay đổi hiệu suất, rồi tiếp tục lặp lại.

Hai người đã ghi lại phương pháp làm việc này thành một kỹ năng Agent. Mô hình đã học được cách chạy benchmark, sửa đổi mã nguồn, so sánh kết quả và tối ưu hóa dựa trên các phép đo.

Chúng tôi chỉ đơn giản là cung cấp cho nó những phương pháp mà con người sẽ sử dụng, dưới dạng mà mô hình có thể sử dụng.

This sentence can almost be considered a naive definition of context engineering.

Đó không phải là những mẹo bí ẩn về từ khóa, cũng không phải là việc tích lũy thêm tài liệu nền. Đó là việc trả lời ba câu hỏi: Chuyên gia sẽ thực hiện các bước nào, hệ thống có những công cụ đáng tin cậy nào, và kết quả nên được xác minh như thế nào.

Khi những nội dung này được cấu trúc, mô hình không nhận thêm kiến thức, mà là một bộ phương pháp có thể thực hiện lặp lại.

Đó cũng là lý do tại sao “kỹ năng (skill)” lại trở thành tài sản then chốt trong hệ sinh thái Agent. Một tệp kỹ năng chất lượng cao có thể bao gồm những kinh nghiệm ẩn sâu của đội ngũ trong nhiều năm. Nó hướng dẫn mô hình nên làm gì đầu tiên khi gặp một loại vấn đề cụ thể, những lỗi nào phổ biến nhất, những công cụ nào đáng tin cậy và kết quả nào mới được coi là hoàn thành.

Sự khác biệt của các công ty trong tương lai rất có thể không chỉ nằm ở trọng số mô hình, mà còn nằm trong những kinh nghiệm được mã hóa vào quy trình làm việc.

Hầu hết các đội ngũ từng thực sự làm Agent đều đã từng chứng kiến cùng một cảnh tượng.

Các bước đầu tiên diễn ra rất suôn sẻ. Mô hình có thể đọc yêu cầu, gọi công cụ và viết mã. Nhưng đến bước thứ 30 hoặc thứ 50, nó bắt đầu quên mục tiêu, hiểu sai trạng thái, lặp lại hành động hoặc đi ngày càng xa hơn theo một hướng sai lầm.

Jeff Dean cho rằng một trong những nguyên nhân là vấn đề ngoài phân phối.

Mô hình đã được huấn luyện với một lượng lớn các nhiệm vụ phổ biến. Khi nhiệm vụ vẫn nằm trong “con đường quen thuộc” mà nó đã biết, hiệu suất thường khá tốt. Tuy nhiên, một khi các thao tác liên tiếp đưa nó vào trạng thái không quen thuộc, hiệu suất sẽ giảm đột ngột. Càng rời xa vùng thoải mái, lỗi càng dễ tích lũy.

Một giải pháp là cung cấp kỹ năng và mẹo để hạn chế mô hình trong các lộ trình mà nó quen thuộc. Một phương pháp khác là sử dụng hệ thống đa Agent.

Nhiều Agent có thể thử các phương án khác nhau, sau đó một mô hình khác đảm nhiệm vai trò đánh giá để xác định những hướng nào triển vọng hơn. Các nhánh thất bại sẽ bị loại bỏ, trong khi các nhánh thành công sẽ tiếp tục được đẩy tiến. Về bản chất, đây là quá trình tìm kiếm trong giai đoạn suy luận.

Nó không xa lạ với cách làm việc của đội ngũ con người. Khi đối mặt với các vấn đề phức tạp, một người đưa ra giải pháp, người khác xem xét rủi ro, và người thứ ba thực hiện thí nghiệm. Đội ngũ không đặt toàn bộ kỳ vọng vào một ý tưởng đầu tiên, mà giảm thiểu lỗi đơn điểm thông qua phân công công việc và phản hồi.

Càng chạy lâu, hệ thống càng không thể phụ thuộc vào một lần chính xác.

Một Agent dài hạn đáng tin cậy thực sự cần các điểm kiểm tra, quản lý trạng thái, hoàn nguyên, khám phá nhánh, đánh giá bên ngoài, kiểm soát quyền và phục hồi ngoại lệ. Nó giống một hệ thống phân tán hơn là một cửa sổ trò chuyện siêu dài.

Đây chính là lúc bối cảnh của Jeff Dean bắt đầu trở nên quan trọng trở lại.

Một trong những vấn đề cốt lõi mà MapReduce giải quyết là làm thế nào để nhiều máy không đáng tin cậy thực hiện tính toán đáng tin cậy. Hệ thống Agent ngày nay đối mặt với mâu thuẫn tương tự: các lần gọi mô hình đơn lẻ không hoàn hảo và các công cụ cũng có thể thất bại, nhưng toàn bộ nhiệm vụ vẫn cần được hoàn thành một cách ổn định nhất có thể.

Nền tảng Agent xuất sắc trong tương lai có thể kế thừa nhiều tư tưởng của hệ thống phân tán. Các nhiệm vụ có thể được chia nhỏ, kết quả có thể được xác minh, lỗi có thể được thử lại, trạng thái có thể được khôi phục, lỗi cục bộ không nên làm phá vỡ toàn bộ quy trình.

Khi Jeff Dean nói rằng các tác nhân sẽ chạy trong vài ngày hoặc thậm chí vài tuần, ông không đang mô tả một cuộc trò chuyện kéo dài hơn. Ông đang mô tả một cơ sở hạ tầng tính toán mới.

Trong bối cảnh Startup School, vấn đề được quan tâm nhất chính là cơ hội khởi nghiệp.

Google có thể phối hợp thiết kế chip, trung tâm dữ liệu, mô hình và sản phẩm. Các mô hình tổng quát như Gemini vẫn đang mở rộng nhanh chóng ranh giới khả năng. Một nhóm chỉ gồm hai hoặc ba người thì làm sao có thể chiến thắng?

Câu trả lời của Jeff Dean không lãng mạn.

Cơ hội cho các đội ngũ nhỏ thường tồn tại trong những lĩnh vực cụ thể mà các mô hình tổng quát chưa chú ý đầy đủ. Các doanh nhân có thể kết hợp giao diện sản phẩm, dữ liệu độc quyền, quy trình làm việc và kỹ năng chuyên môn để cung cấp độ chính xác cao hơn và trải nghiệm tốt hơn trong một bối cảnh hẹp.

Nhưng ông ngay lập tức đưa ra cảnh báo: các mô hình tổng quát đang trở nên mạnh mẽ nhanh chóng. Những tính năng sản phẩm dường như độc lập hôm nay có thể sẽ bị các mô hình nền tảng bao phủ trực tiếp sau sáu tháng hoặc một năm.

Do đó, các doanh nhân cần đánh giá xem lợi thế của mình có bền vững hay không.

Jeff Dean đưa ra một tiêu chí lọc rất cụ thể: tìm những nhiệm vụ mà hiện tại mô hình phổ thông có tỷ lệ thành công gần 0% hoặc 1%, thay vì những nhiệm vụ đã có thể đạt 20%.

Nếu mô hình hoàn toàn thất bại, đây có thể là một dấu hiệu tốt. Nếu nó đã có thể thực hiện một phần, chỉ là làm chưa tốt, thì điều đó lại không nhất thiết là dấu hiệu tốt.

Lý do rất đơn giản. 20% có nghĩa là khả năng đã bắt đầu xuất hiện. Nhiều dữ liệu hơn, mô hình lớn hơn và suy luận dài hơn rất có thể nhanh chóng đưa nó đến mức có thể sử dụng được. 0% hoặc 1% thì cho thấy nhiệm vụ có thể thiếu dữ liệu then chốt, công cụ đặc biệt, phản hồi lĩnh vực, hoặc cần một khả năng mà mô hình tổng quát khó đạt được trong ngắn hạn.

Đây có thể được gọi là "quy tắc 1%" của Jeff Dean.

Nó không phải là lời khuyên để các doanh nhân chỉ chọn những vấn đề khó nhất, mà là tìm những vấn đề mà các mô hình phổ biến có điểm mù về cấu trúc.

Có ba loại vùng mù này.

Loại đầu tiên là dữ liệu độc quyền. Các mô hình phổ quát có thể tổ chức thông tin thế giới, nhưng chưa chắc đã truy cập được toàn bộ hồ sơ cá nhân của người dùng, quy trình nội bộ của một công ty, hay dữ liệu thời gian thực do một thiết bị nào đó tạo ra. Khi các sản phẩm khởi nghiệp sở hữu được những dữ liệu này, chúng sẽ có được tầm nhìn khác biệt so với các mô hình nền tảng.

Loại thứ hai là đánh giá chuyên môn. Nhiều ngành không thiếu khả năng tạo ra, mà thiếu khả năng phán đoán đáng tin cậy. Y tế, vật liệu, chip, sản xuất và nghiên cứu khoa học đều cần các bộ kiểm định chất lượng cao. Ai có thể định nghĩa “điều gì là đúng”, người đó sẽ giúp Agent liên tục tối ưu hóa.

Loại thứ ba là các mô hình hẹp nhưng sâu. AlphaFold không phải là mô hình trò chuyện tổng quát, mà được xây dựng với khả năng chuyên sâu dành riêng cho vấn đề cấu trúc protein. Các lĩnh vực chuyên biệt như khoa học vật liệu, thiết kế chip và những lĩnh vực khác cũng có thể xuất hiện cơ hội tương tự.

Việc đưa ra phán đoán này không dễ dàng đối với các nhà khởi nghiệp. Nó yêu cầu đội ngũ phải hiểu cả giới hạn năng lực của mô hình lẫn những vấn đề sâu xa trong ngành. Chỉ hiểu về AI, dễ dàng tạo ra các tính năng nhanh chóng bị nền tảng hấp thụ. Chỉ hiểu về ngành, lại có thể đánh giá thấp tốc độ tiến bộ của mô hình.

The real opportunity lies at the intersection of both.

Diana đưa ra một giả định: Nếu trong tương lai, mỗi nhà sáng lập đều có thể đồng thời quản lý 50, 100 Agent, và tất cả mã nguồn đều do Agent viết, thì khả năng nào sẽ trở nên khan hiếm?

Câu trả lời của Jeff Dean là “thị hiếu”.

Chính xác hơn, đó là xác định Agent nên làm gì.

Anh ấy cho rằng, giá trị lớn nhất của công việc nghiên cứu không nằm ở việc thực hiện thí nghiệm một cách hoàn hảo đến đâu, mà ở việc có chọn được một vấn đề đáng để nghiên cứu hay không. Một nhóm có thể sử dụng phương pháp tinh vi nhất để hoàn thành một nghiên cứu không quan trọng. Nhưng cũng có thể nắm bắt được một vấn đề then chốt, và chỉ cần giải quyết nó, đã có thể thay đổi toàn bộ lĩnh vực.

Sau khi đại lý làm giảm chi phí thực hiện, tầm quan trọng của việc lựa chọn vấn đề sẽ càng được nâng cao.

Trước đây, một ý tưởng mơ hồ sẽ tự nhiên biến mất do chi phí phát triển quá cao. Trong tương lai, chỉ cần huy động đủ nhiều Agent, nhiều ý tưởng có thể được tạo bản mẫu nhanh chóng. Thế giới sẽ không vì thế mà tự động xuất hiện nhiều sản phẩm tốt hơn, mà chỉ xuất hiện nhiều sản phẩm hơn.

Specifications will also become more important.

Jeff Dean cho biết, khi hợp tác với các tác nhân ảo, mục tiêu càng rõ ràng thì tỷ lệ thành công càng cao. Trước đây, các yêu cầu mơ hồ được giao cho một kỹ sư giàu kinh nghiệm, người có thể đặt câu hỏi và dựa vào bối cảnh chung để bổ sung ý định. Mặc dù các tác nhân cũng có thể đặt câu hỏi, nhưng chúng dễ dàng tự suy luận khi thiếu ngữ cảnh.

Một nhiệm vụ có tỷ lệ thành công cao điển hình là di chuyển phần mềm từ một ngôn ngữ lập trình sang ngôn ngữ khác. Lý do không phải vì việc di chuyển đơn giản, mà vì yêu cầu kỹ thuật cực kỳ đầy đủ. Mã cũ định nghĩa hành vi, bài kiểm tra xác định ranh giới, và Agent có thể đối chiếu từng mục cho đến khi phiên bản mới hoạt động tương đương.

Bây giờ Agent có thể viết phần mềm thay bạn, nhưng việc giải thích chính xác những gì bạn muốn lại trở nên quan trọng hơn bao giờ hết.

Câu này có sự gợi ý trực tiếp đối với các tổ chức bản địa AI.

Người quản lý trong tương lai không chỉ phân công nhiệm vụ, mà còn phải xác định rõ mục tiêu và tiêu chí chấp nhận. Tài liệu thiết kế không còn chỉ là tài liệu giao tiếp trong nhóm, mà còn trở thành đầu vào để máy thực thi. Các bài kiểm tra, chỉ số, ràng buộc và ví dụ sẽ được dịch chuyển từ giai đoạn cuối của quy trình phát triển sang giai đoạn xác định nhiệm vụ.

Về cách huấn luyện “taste”, Jeff Dean đưa ra phương pháp rất thực tế.

Viết ra một danh sách những điều bạn cho rằng sẽ trở nên quan trọng trong 12 tháng tới. Bạn không cần phải làm hết tất cả. Sau 12 tháng, hãy kiểm tra lại xem những dự đoán nào đã trở thành sự thật, những dự đoán nào đã được người khác thực hiện, và những dự đoán nào vẫn không có tiến triển. Bằng cách tích lũy liên tục các mẫu dự đoán, con người sẽ dần điều chỉnh khả năng phán đoán của mình.

Thẩm mỹ không hoàn toàn là thiên bẩm. Nó cũng có thể được rèn luyện thông qua việc tổng kết lại.

Ở phần sau của cuộc phỏng vấn, Jeff Dean đã chia sẻ một thí nghiệm tư tưởng khá điên rồ.

Trong 60 năm qua, ngành công nghiệp chip đã luôn theo đuổi các transistor nhỏ hơn, ổn định hơn và tỷ lệ lỗi thấp hơn. Người ta mặc định rằng các chip được sản xuất theo cùng một thiết kế nên càng giống nhau hoàn toàn càng tốt, và càng ít bit bị đảo ngược càng tốt.

Trong các hệ thống phân tán lớn, các kỹ sư đã chấp nhận rằng các thành phần đơn lẻ có thể bị lỗi. Ổ cứng có thể hỏng, máy chủ có thể sập, switch mạng có thể gặp sự cố. Độ tin cậy của hệ thống không đến từ việc mỗi bộ phận hoàn toàn không sai sót, mà đến từ việc sao chép, kiểm tra, dư thừa và phục hồi.

Vì vậy, Jeff Dean hỏi: Nếu mỗi ngày transistor xảy ra 20 lỗi, thay vì vài triệu năm mới xảy ra một lỗi, thì sẽ thế nào?

Đây không phải là một kế hoạch sản phẩm thực tế. Anh ấy chỉ đang cố gắng loại bỏ một tiền đề quen thuộc. Có lẽ các transistor cực kỳ không đáng tin cậy có thể được chế tạo theo cách hoàn toàn khác, và hệ thống sẽ đảm bảo kết quả thông qua đa đường và sự dư thừa cấp cao.

Hầu hết các thí nghiệm tư tưởng cuối cùng không trở thành sản phẩm. Nhiều thực hành trong ngành đã tồn tại trong hàng chục năm và thực sự có lý do chính đáng. Nhưng Jeff Dean cho rằng vẫn nên thường xuyên xem xét lại những lý do này.

MapReduce đến từ quy trình tương tự.

Hệ thống thu thập và lập chỉ mục ban đầu của Google chứa rất nhiều mã song song được viết thủ công, các điểm kiểm tra và logic phục hồi sự cố. Các phép tính kinh doanh thực sự thường rất đơn giản, ví dụ như đọc tất cả các trang web và xác định ngôn ngữ trang. Tuy nhiên, phần lớn mã hệ thống đã làm lu mờ ý định đơn giản đó.

Jeff Dean và Sanjay Ghemawat đã lấy cảm hứng từ lập trình hàm. Họ trừu tượng hóa các tác vụ lớn thành Map và Reduce, đồng thời chuyển các yếu tố như song song hóa, lập lịch, xử lý lỗi và thử lại xuống một khung làm việc thống nhất. Các nhà phát triển nghiệp vụ chỉ cần tập trung vào việc biểu diễn chính phép tính.

Thiết kế này không khiến máy móc trở nên không sai sót. Nó khiến các sai sót có thể được hệ thống hấp thụ.

Hiện tại, các dự án Agent cũng có thể đang ở giai đoạn tương tự. Nhiều đội ngũ vẫn đang tự tay sắp xếp prompt, logic thử lại và gọi công cụ cho từng nhiệm vụ. Trong tương lai, liệu có xuất hiện một sự trừu tượng đơn giản như MapReduce, giúp việc phân tách, xác minh, khôi phục và khám phá song song của các Agent dài hạn trở thành các khả năng nền tảng?

Đây có lẽ chính là cơ hội cho những công ty cơ sở hạ tầng tiếp theo.

Jeff Dean cảm thấy hào hứng nhất với hướng đi tự động hóa chính phương pháp khoa học.

Quy trình nghiên cứu truyền thống là đưa ra giả thuyết, thiết kế thí nghiệm, thực hiện thí nghiệm, phân tích kết quả, sau đó tạo ra giả thuyết cho vòng tiếp theo. Tốc độ của chu trình này lâu nay bị hạn chế bởi chi phí thí nghiệm và độ trễ trong xác minh.

AI có thể thay đổi hai phần.

Một phần là tự động đề xuất và thực hiện thêm các thí nghiệm. Một phần khác là biến các bộ xác thực đắt tiền thành các mô hình xấp xỉ giá rẻ.

Jeff Dean đã đưa ra ví dụ về hóa học lượng tử. Các nhà nghiên cứu muốn xác định tính chất của một cấu hình phân tử có thể chạy mô phỏng lý thuyết hàm mật độ. Một lần mô phỏng có thể mất cả đêm. Các nhà nghiên cứu của Google đã huấn luyện một bộ xấp xỉ mạng nơ-ron bằng hàng loạt đầu vào và đầu ra của mô phỏng. Bộ xấp xỉ này có độ chính xác gần bằng bộ mô phỏng gốc, nhưng nhanh hơn khoảng 300.000 lần.

Sau khi tốc độ xác minh thay đổi, hình thái của các vấn đề khoa học cũng thay đổi.

Trước đây, lọc qua 10 triệu phương án ứng cử có thể là một dự án đòi hỏi hàng tháng sức mạnh tính toán. Bây giờ, trong thời gian một nhà nghiên cứu ăn trưa, hệ thống đã có thể hoàn thành việc sàng lọc ban đầu. Thí nghiệm không còn là những lần đặt cược đơn lẻ quý giá, mà trở thành việc tìm kiếm tần suất cao.

Đây cũng là logic chung đằng sau các hệ thống như AlphaEvolve, AlphaChip. Mô hình đề xuất giải pháp, công cụ thực hiện giải pháp, bộ đánh giá lọc kết quả, các kết quả xuất sắc sẽ tiến vào vòng tiếp theo. Chỉ cần vòng lặp đủ nhanh, hệ thống có thể liên tục khám phá trong không gian giải pháp khổng lồ.

Machine learning itself will also become the subject of this automated science.

Hôm nay, các nhóm nghiên cứu lớn thường do con người đề xuất kiến trúc hoặc phương pháp huấn luyện mới, thực hiện thí nghiệm quy mô nhỏ trước, sau đó chọn các phương án đầy hứa hẹn để mở rộng. Jeff Dean cho rằng không có rào cản cơ bản nào ngăn cản mô hình chiếm dần nhiều khâu hơn trong quá trình này. Con người đưa ra hướng dẫn cấp cao, hệ thống tự động khám phá cấu trúc, công thức dữ liệu và chiến lược huấn luyện, sau đó kết hợp các thí nghiệm thành công để tạo ra mô hình mới.

Chỉ số đo lường hiệu quả nghiên cứu trong tương lai có thể không còn chỉ là phép toán dấu phẩy động mỗi giây, mà là “số phát hiện hữu hiệu tạo ra trên mỗi đơn vị sức mạnh tính toán”.

Computational power is certainly important. More important is how to convert computational power into discoveries.

Năm 2014, Jeff Dean, Geoff Hinton và Oriol Vinyals đã nộp một bài báo về kiến thức học sinh. Ngày nay, kiến thức học sinh đã trở thành phương pháp cơ bản trong nén mô hình và chuyển giao khả năng. Các mô hình lớn đóng vai trò giáo viên, truyền đạt khả năng cho các mô hình học sinh nhỏ hơn, nhanh hơn và rẻ hơn.

Bài luận sau này có ảnh hưởng sâu rộng đã từng bị NeurIPS từ chối.

Một biên tập viên cho rằng nó “khó có thể tạo ra tác động đáng kể”. Độc giả quan tâm có thể truy cập bài viết “Bị từ chối ≠ Thất bại! Những bài báo có ảnh hưởng cao này đều đã bị các hội nghị hàng đầu từ chối”.

Khi nhắc đến trải nghiệm này, Jeff Dean không hề tức giận. Ông cho biết, các biên tập viên có thể không hiểu rõ những vấn đề thực tế mà các dịch vụ AI quy mô lớn phải đối mặt. Đối với Google, việc chuyển đổi các mô hình lớn và đắt đỏ thành các mô hình nhỏ có thể phục vụ hàng trăm triệu người dùng rõ ràng là vô cùng quan trọng. Nhưng đối với các biên tập viên chỉ quan tâm đến tính mới mẻ về mặt lý thuyết, nó có thể không trông đủ “cơ bản”.

Sau khi bài báo bị từ chối, nhóm đã đăng nó lên arXiv. Ngành công nghiệp vẫn đọc được nó và vẫn bắt đầu sử dụng.

Hôm nay, mô hình Flash của Gemini có thể duy trì khả năng mạnh mẽ với quy mô nhỏ hơn và độ trễ thấp hơn, trong đó tinh luyện là một trong những phương pháp quan trọng.

Câu chuyện này không chỉ là vật liệu truyền cảm hứng với thông điệp “kiên trì sẽ thành công”. Nó cho thấy hệ thống đánh giá luôn có những điểm mù. Giá trị của một giải pháp, đôi khi chỉ những người từng trải qua điểm nghẽn của hệ thống đó mới có thể ngay lập tức nhận ra.

Điều này cũng quan trọng đối với các doanh nhân.

Sự phủ nhận từ thị trường, nhà đầu tư và đồng nghiệp có thể có nghĩa là hướng đi sai lầm, hoặc đơn giản là họ chưa ở cùng một bối cảnh vấn đề. Sự khác biệt nằm ở chỗ, liệu đội ngũ có đủ bằng chứng cụ thể để hiểu tại sao vấn đề này quan trọng và tại sao hiện tại có thể giải quyết nó.

Jeff Dean không khuyến khích sự kiên trì mù quáng. Ông khuyến khích: hiểu vấn đề, liên tục xác minh, và đừng coi một lần đánh giá là phán quyết cuối cùng của thế giới.

Khi cuộc phỏng vấn sắp kết thúc, Diana đã đưa ra một câu hỏi đầy tưởng tượng.

Nếu đưa Jeff Dean trẻ tuổi khi gia nhập Google năm 1999 sang năm 2026, anh ấy sẽ gia nhập một phòng thí nghiệm tiên tiến hay cùng hai ba người bạn khởi nghiệp?

Jeff Dean không đưa ra câu trả lời chuẩn.

Các tổ chức lớn sở hữu cấu trúc, nền tảng và nhiều đồng nghiệp xuất sắc. Một cá nhân trong đó có thể tiếp cận những kiến thức mình chưa hiểu, đồng thời sử dụng các sản phẩm trưởng thành để ảnh hưởng đến người dùng toàn cầu. Các đội nhỏ thì tự do hơn nhưng cũng phải gánh chịu rủi ro lớn hơn. Người sáng lập phải thực sự tin tưởng vào một vấn đề và sẵn sàng chịu đựng sự không chắc chắn trong vài năm.

Tiêu chuẩn đánh giá mà anh ấy đưa ra còn cơ bản hơn cả "gia nhập doanh nghiệp lớn hay khởi nghiệp".

Nếu tôi giải quyết được vấn đề này và kết quả tốt nhất thực sự xảy ra, thế giới có trở nên tốt rõ rệt hơn không, hay mọi người chỉ nói “Ồ, hay đấy”, rồi thôi?

Nếu câu trả lời chỉ là “khá ngầu”, thì có lẽ không đáng để đầu tư khoảng thời gian quý giá nhất của bạn.

Anh ấy cũng nhấn mạnh tầm quan trọng của đồng đội. Hãy tìm những người có kỹ năng bổ sung cho nhau, đồng thời là những người khiêm tốn, sẵn sàng hợp tác và dễ相处. Những vấn đề thực sự khó khăn thường đòi hỏi sự cộng tác lâu dài. Các thành viên trong đội nên mỗi người sở hữu những công cụ mà người khác không có, và tiếp tục mở rộng “thắt lưng công cụ” của mình trong quá trình làm việc chung.

Lời nói này mang vẻ giản dị của một kỹ sư thế hệ cũ.

Ngành AI thích nói về tăng trưởng theo cấp số nhân, trí tuệ siêu việt và các khoản đầu tư khổng lồ. Nhưng cuối cùng, Jeff Dean vẫn quay về ba điều nhỏ bé: tập trung vào một vấn đề thực sự bạn quan tâm, làm việc cùng những người bạn yêu quý, và nỗ lực khiến thế giới trở nên tốt đẹp hơn.

Trong sự nghiệp của Jeff Dean, có rất nhiều huyền thoại được kể lại lặp đi lặp lại.

Anh ấy và Sanjay Ghemawat đã viết lại hệ thống tìm kiếm trong vài ngày, đưa chỉ mục vào bộ nhớ. Một ước tính về ba phút giọng nói đã thúc đẩy Google phát triển TPU. MapReduce ẩn đi sự song song quy mô lớn và khả năng chịu lỗi trong một trừu tượng thống nhất. Tri thức chưng cất đã từ một bài báo bị từ chối trở thành công nghệ nền tảng của ngành.

Những câu chuyện này dễ khiến người ta tưởng tượng anh ta là một thiên tài liên tục nhận cảm hứng.

But from this interview, his approach is actually highly consistent.

Trước tiên, hãy xác định rõ quy mô. Sau đó, tìm ra điểm nghẽn thực sự. Tiếp theo, đặt câu hỏi cho các giả định mặc định và xây dựng một mô hình trừu tượng đơn giản hơn. Cuối cùng, sử dụng đo lường và phản hồi để thúc đẩy hệ thống liên tục cải tiến.

Ngành công nghiệp AI hôm nay đang trải qua một bước ngoặt tương tự.

Mô hình đã đủ mạnh để đảm nhận các nhiệm vụ ở cấp độ kỹ sư sơ cấp. Tiếp theo, yếu tố quyết định năng suất thực tế không chỉ là trí thông minh của mô hình, mà còn là chi phí suy luận, tổ chức ngữ cảnh, chất lượng công cụ, tốc độ xác minh và độ tin cậy khi chạy dài hạn.

Agent sẽ ngày càng giống các thành viên trong đội nhóm. Nhưng chúng cần các thông số rõ ràng, cần kỹ năng, cần các mốc kiểm tra, cần người đánh giá, và cũng cần một hệ thống có thể dung thứ sự thất bại.

Cơ hội của các công ty khởi nghiệp cũng không biến mất, mà chỉ trở nên khắt khe hơn. Tốt nhất là đừng làm những việc mà mô hình phổ thông đã có thể thực hiện được 20%, mà hãy tìm kiếm những vấn đề mà tỷ lệ thành công vẫn gần bằng 0% hoặc 1%. Ở đó có thể ẩn chứa dữ liệu độc quyền, bộ đánh giá chuyên sâu, mô hình lĩnh vực hẹp, hoặc các hệ thống trừu tượng hoàn toàn mới.

Khi việc tạo mã ngày càng trở nên rẻ hơn, điều thực sự đắt đỏ sẽ là chính vấn đề.

Điều gì đáng để làm? Điều gì ràng buộc đã lỗi thời? Sự thay đổi nào vừa vượt qua ngưỡng tới hạn? Hệ thống nào sẽ trở thành sản phẩm hoàn toàn khác nếu nhanh hơn 50 lần?

Jeff Dean không đưa ra danh sách cơ hội cho 6.000 doanh nhân khởi nghiệp. Ông cung cấp một cách suy nghĩ bền vững hơn.

Đừng vội vàng theo đuổi câu trả lời nóng nhất.

Hãy tính toán vấn đề này một lần trước.

Liên kết tham khảo

https://x.com/ycombinator/status/2082938685071491219

https://www.ycrootaccess.com/p/jeff-dean-the-1-rule-for-building

Bài viết này đến từ tài khoản WeChat “Machine Heart” (ID: almosthuman2014), tác giả: Panda