Cựu nhà nghiên cứu cốt lõi tại OpenAI: Nghiên cứu con người - AI có thể bị thay thế trong vòng hai năm

Này, bạn đã nghe chưa?

Người nghiên cứu nhân loại chỉ còn lại khoảng hai năm nữa để tận hưởng những ngày tháng hạnh phúc.

Sau hai năm, con người nghiên cứu AI sẽ giống như cách con người chơi cờ vua ngày nay.

Bạn vẫn có thể đặt lệnh, nhưng chẳng ai quan tâm bạn đặt như thế nào.

Đây là luận điểm mới nhất do Jerry Tworek, cựu vị trí số một về mô hình suy luận của OpenAI, đưa ra.

Anh ấy gia nhập OpenAI năm 2019 và ở lại đúng bảy năm. Khi đó, học tăng cường không thể nào mở rộng được, chính anh là người kiên trì theo đuổi và đẩy nó lên mức cao mới; hai thế hệ vũ khí mạnh mẽ o1 và o3 đều do anh trực tiếp dẫn đầu phát triển.

“Chúng tôi muốn tạo ra AGI.” Đó là toàn bộ lộ trình mà Ilya đưa ra trong cuộc họp toàn thể khi mới gia nhập OpenAI vào năm 2019. Bảy năm sau, anh ấy đã ra riêng.

Điều đáng sợ hơn là, câu này không chỉ có một mình anh ta nói. Hiện nay, câu đùa nội bộ phổ biến nhất trong giới nghiên cứu AI là:

Chúng ta chỉ còn vài ngày làm việc cuối cùng, hãy tranh thủ làm ngay khi còn có thể, xong rồi cùng nhau nghỉ hưu và thư giãn.

Mọi người đều kể lại câu này như một trò đùa đen. Nhưng mỗi người kể chuyện đều rõ như gương trong lòng.

Cú đùa này, phần lớn chính là thực tế.

Và đây mới chỉ là món khai vị. Trong suốt cuộc phỏng vấn, anh ta liên tục đưa ra những lời đe dọa như vậy:

• Agent thực sự có sáng tạo, nhưng đó là một loại sáng tạo cực kỳ kém chất lượng, được tích lũy tràn lan, với những ý tưởng đa dạng nhưng đều phổ biến và tệ hại.
• Trên toàn thế giới, số người thực sự nắm vững từ quá trình huấn luyện đến triển khai một mô hình tiên tiến có lẽ chỉ khoảng ba mươi đến năm mươi người, còn lại tất cả đều đang hỗ trợ họ.
• Giả định rằng Transformer là giải pháp tối ưu gần như không thể xảy ra.
• Trong bảy năm làm việc tại OpenAI, số lần thực sự nghiêm túc thử thay đổi kiến trúc nền tảng chỉ khoảng ba đến bốn lần.
• Thế giới không cần phải dựa vào việc chúng ta đi làm mới có thể vận hành, tiền đề này vốn không đúng

Đây là phiên bản đã được tổng hợp, hãy tận hưởng.

Con số hai năm này không liên quan đến điểm số, cũng không liên quan đến công suất tính toán.

Anh ấy đếm số công việc còn lại trong nghiên cứu这件事 mà con người đang làm.

Và công việc này đã bị chia làm hai đoạn từ lâu rồi.

Một đoạn là đưa ra ý tưởng, suy nghĩ rõ ràng nên đi theo hướng nào. Đoạn còn lại là thực hiện, biến ý tưởng thành mã có thể chạy được và lấy lại dữ liệu.

Còn phần thực hiện công việc thì đã cơ bản được giao cho Agent.

Tworek đã thành lập một công ty có tên Core Automation vào tháng 4 năm nay, với khẩu hiệu là xây dựng phòng thí nghiệm AI tự động hóa nhất thế giới.

Tại đó, toàn bộ chu kỳ của một thí nghiệm đã được rút ngắn từ một tháng xuống chỉ còn một ngày. Hiệu suất tăng lên gấp ba mươi lần!

Tuy nhiên, đoạn đưa ra ý tưởng này, Agent hiện vẫn chưa thể xử lý được. Lý do là—

They definitely belong to the most creative species.

Nhưng chúng đang lãng phí sự sáng tạo theo cách cực kỳ kém chất lượng và chất đống tràn lan. Những ý tưởng thực sự đa dạng, nhưng hầu hết đều tệ hại.

Nghe vậy thì phần đưa ra ý tưởng dường như vẫn ổn.

Nhưng những người thực sự có thể đưa ra ý tưởng cũng chẳng còn mấy ai.

Trong cuộc phỏng vấn, người dẫn chương trình tiết lộ rằng một nhà nghiên cứu nội bộ của OpenAI đã chia sẻ với anh ta—

Trên toàn thế giới, số người thực sự hiểu rõ từ đầu đến cuối cách huấn luyện và triển khai một mô hình tiên tiến có thể chỉ khoảng ba mươi đến năm mươi người.

Tất cả những người còn lại đều đang hỗ trợ cho vài chục bộ não này, bao gồm phần lớn nhân viên chính thức của công ty nổi bật nhất.

Tworek không phản bác.

Anh ấy cũng cho rằng, bất kỳ đội ngũ hàng đầu nào cũng đều hoạt động như vậy. Một vài người xác định hướng đi, kéo theo sau là cả một cỗ máy thực thi rền vang.

Để biết những người này có được săn đón đến mức nào, chỉ cần xem danh sách tuyển dụng của chính anh ấy là đủ.

Rohan Anil, đồng sáng lập Core Automation, từng làm việc tại Anthropic và trước đó tại Google DeepMind.

Anmol Gulati, người từng làm việc tại DeepMind trên dự án Gemini, cũng đã được tuyển dụng sang. Ngay cả Julia Villagra, cựu trưởng bộ phận nhân sự của OpenAI, cũng đã theo dõi chuyển đi.

Tất cả các phòng thí nghiệm đều đang câu người trong cùng một hồ. Và hồ này, tổng cộng chỉ có vài chục con cá.

Vì vậy, con số hai năm này không liên quan gì đến toàn thể nhân loại.

Nói về những người này, họ còn có thể chịu đựng thêm bao lâu.

Khi con người chỉ còn lại vài chục người, thì bức tường cuối cùng cản trở AI là gì?

Câu trả lời của Tworek chỉ có một từ, Transformer.

Theo anh ta, thứ này gần như không thể là giải pháp tối ưu.

Trước hết, mô hình không thể tiếp tục học sau khi được triển khai. Bạn có nói chuyện với nó bao nhiêu đi nữa, nó cũng không trở nên mạnh hơn, và cuộc hội thoại tiếp theo vẫn sẽ là chính nó như cũ. Cửa sổ ngữ cảnh cũng không đủ lớn; nó cho biết mình dùng Codex khoảng hai mươi phút là phải nén một lần.

Thứ hai, nếu cố gắng bù đắp bằng cách tinh chỉnh liên tục, bạn sẽ nhận ra rằng không chỉ hiệu suất cực kỳ thấp mà còn gặp phải hiện tượng quên nghiêm trọng—học được cái mới thì lại quên cái cũ.

Vì vậy, trong những năm qua, phần lớn công việc mà cả ngành tập trung vào Transformer thực chất là làm cho nó rẻ đi, rất ít người thực sự nỗ lực để làm cho nó mạnh hơn.

Nhưng điều mà Tworek thực sự muốn, thực ra cũng không nằm ở chính kiến trúc.

Anh ấy muốn một mô hình có thể tiếp tục học trong thời gian kiểm tra, một mô hình có thể liên tục phát triển từ tương tác người dùng và dữ liệu người dùng. Việc thay đổi kiến trúc chỉ là phương tiện để đạt được điều đó.

Những nguyên lý này không ai trong ngành không hiểu. Nhưng đã qua bao nhiêu năm, tại sao Transformer vẫn vững vàng đứng đó?

Lý do đằng sau thật đơn giản đến mức hơi ngớ ngẩn—chưa từng thử chút nào.

Trong bảy năm tại OpenAI, số lần thực sự nghiêm túc thử thay đổi kiến trúc nền tảng chỉ là ba đến bốn lần.

Quy trình là như vậy.

Nhà nghiên cứu trước tiên thực hiện một thí nghiệm xác minh quy mô nhỏ, chạy ít nhất ba tháng. Chỉ khi kết quả trông khả quan, họ mới dám mở rộng quy mô.

Và cái gọi là tăng đòn bẩy, tức là bạn phải dùng lời nói thuyết phục khoảng mười người nắm giữ quyền sinh sát, sau đó mười người này sẽ đầu tư từ ba đến sáu tháng vào cái hố không đáy của bạn.

Cuối cùng, ли bị lực lượng động năng đã tích tụ từ lâu của Transformer nghiền nát, ли được hấp thụ một phần, trở thành một con ốc vít trên cơ thể nó.

Bảy năm, ba bốn lần. Đó là toàn bộ năng lực sản xuất của phòng thí nghiệm AI mạnh nhất thế giới trong việc đổi mới kiến trúc.

“Jare, mang những công suất này đi đốt”

Chính anh ấy từng gặp phải tình thế bế tắc hoàn toàn giống vậy tại OpenAI. Và thứ mở ra nó, chỉ là một câu nói.

Lúc đó, những thí nghiệm nửa sống nửa chết ấy đã nhen nhóm được một chút «dấu hiệu sự sống». Chưa nói là tốt, nhưng ít nhất cũng đã có dấu hiệu ban đầu.

Ngay vào thời điểm đó, Jakub Pachocki, người sau này trở thành nhà khoa học trưởng của OpenAI, đã tìm đến anh ta.

“Jare, tất cả những GPU này đều dành cho bạn, hãy xem liệu bạn có thể làm kết quả hiện tại của mình lớn hơn và mạnh mẽ hơn nữa không.”

“Bây giờ bạn đã có những GPU này rồi.” Khi anh ấy lặp lại câu này, o1 vẫn chưa có tên.

Câu này đã cứu anh ta ra khỏi một nghịch lý—

Bạn phải đưa ra kết quả trước mới có quyền yêu cầu công suất tính toán.

Nhưng bạn rõ ràng phải có sẵn lượng tính toán đó mới có thể tạo ra kết quả.

Tworek cho biết, phần lớn các hướng đi tiên tiến đều bị kẹt trong nghịch lý này. Những cuộc chiến âm thầm giành lấy sức mạnh tính toán trong phòng thí nghiệm, rốt cuộc, đều đang tìm cách thoát ra.

Còn xuất khẩu, đôi khi chỉ là sự quyết định của ban lãnh đạo Click Confidence.

Chỉ cần có ai đó từ trên nói rằng: “Tôi mong bạn có một lượng tính toán đáng kể để tấn công mạnh mẽ.” Là đã đủ rồi.

Khi cửa mở ra, mọi thứ sau đó đều không thể kiểm soát được.

Học tăng cường đã vượt qua nhiều cấp độ kể từ nút này.

Sau đó, sự ra đời của o1 đã khiến con đường mà vô số người từng tuyên án tử hình—mô hình suy luận—trở nên sống động.

100.000 USD, ngang bằng một chuyên gia

Lần này, anh ấy không còn phải chờ ai ra lệnh nữa.

Khâu tốn nhiều chi phí nhất trên toàn bộ chuỗi là chuyển đổi những ý tưởng trừu tượng thành mã có thể chạy thực tế. Và đây chính là điểm mạnh nhất của các Agent hiện nay.

Ví dụ, Core Automation từng dùng chiến lược này để tiếp cận lõi GPU.

Cụ thể, họ đã giao một nhân QR decomposition cho một tác giả lập trình chạy trong bốn tuần, tiêu tốn khoảng mười nghìn đô la Mỹ chi phí gọi, và cuối cùng đã tăng tốc độ của nhân này lên sáu mươi lần so với ban đầu.

Công việc này thuộc về kỹ thuật hiệu năng cấp thấp, tập trung vào việc tối ưu hóa cách một phép toán ma trận chạy nhanh hơn trên GPU, thường phải dựa vào một số ít chuyên gia điều chỉnh từng dòng mã thủ công.

Và những chuyên gia như vậy, trên toàn thế giới cũng không có mấy người.

Bây giờ chỉ cần mười nghìn đô la là đã có thể đạt được một cái. Nó không cần phải được thuyết phục, cũng không cần ba đến sáu tháng.

Cửa ải bị kẹt suốt bảy năm nay đã bị phá vỡ.

Ngay cả kiến trúc khó nhất cũng đã lung lay, vậy nên tay lái trong tay vài chục người cũng sẽ không giữ được lâu.

Cuối buổi phỏng vấn, người dẫn chương trình đã trực tiếp đặt câu hỏi với anh ta: khi ngày đó thực sự đến, con người còn lại gì để làm?

Đối với điều này, Tworek đã mô tả hai bức tranh.

Hình đầu tiên là Hy Lạp cổ đại.

Mọi người gặp nhau ở quảng trường, từ tốn trò chuyện về triết học cả ngày, sau đó đi tập thể dục, nhâm nhi ô liu và uống rượu vang.

Ngay sau khi tự mình miêu tả xong, anh ấy cười và thừa nhận rằng có lẽ đó chỉ là sự phản chiếu mong muốn của chính mình.

“Chúng ta gặp nhau ở quảng trường, rồi nói chuyện.” Anh ấy nói nguyên văn mô tả cuộc sống hàng ngày của con người sau thời kỳ AGI, xong tự bật cười.

Hình thứ hai là trung học, hoặc đại học.

Anh ấy cho rằng con người nên duy trì sự theo đuổi chính bản thân sự xuất sắc. Tiếp tục ham học những điều mới, rèn luyện cả cơ thể lẫn trí óc đến tận cùng.

Điều này hơi giống thể thao chuyên nghiệp, không có lý do kinh tế nào buộc bạn phải đổ mồ hôi và máu, nhưng sự tự hào trong bản chất con người chính là khát khao với thứ gọi là “vĩ đại”.

We need to find various ways to do this.

Vì trong thế giới tiếp theo, sẽ không còn những việc kiểu “nếu bạn không làm, thế giới sẽ sụp đổ”. Thế giới sẽ tự vận hành trên những cơ sở hạ tầng mà chúng ta đã xây dựng.

“Chúng ta nên tiếp tục học mãi.” Anh ấy nói về việc đó như một nghĩa vụ, chứ không phải một sở thích.

Sau đó, anh ấy bình thản lật bài úp.

Chúng ta phải làm việc thì thế giới mới vận hành được. Giả định này hoàn toàn không cần thiết phải đúng.

“Nhiều người lấy giá trị bản thân từ công việc.” Anh ấy thừa nhận đây là rào cản khó vượt qua nhất, kể cả với chính anh ấy

Nói thật thì, sau khi nghe hết cả buổi, điều khiến người ta cảm thấy rùng mình nhất không phải là hai năm đó.

Chính anh ấy cũng biết rằng anh ấy đang đạp ga cho đếm ngược này.

Điều anh ấy đang tạo ra, về bản chất, là thứ có thể tự học và tự cải thiện, không còn cần người ở bên cạnh liên tục nuôi dưỡng. Khi nó được tạo ra, vị trí của hàng chục người sẽ biến mất nhanh hơn nữa.

Và ông ấy còn một câu còn nghiêm khắc hơn: người đầu tiên bị phán xét chính là bản thân ông ấy.

Nếu bạn không phải là phòng thí nghiệm có nguồn lực tính toán khủng nhất và quy mô lớn nhất, bạn sẽ chết rất thảm.

Khi nói những lời này, Core Automation mới chỉ thành lập được bốn tháng và doanh thu trên sổ sách bằng không.

Anh ấy nói rằng kể từ khi khởi nghiệp, gần như mỗi tuần đều có người đến nói với anh: “Jare, quá muộn rồi, cái thang lên trời đó đã bị thu lại rồi.”

Câu trả lời của anh ấy chỉ gồm một câu khẩu hiệu của chính mình.

Người trong công ty chúng tôi hay nói nhất rằng mọi thứ đều là vấn đề kỹ năng.

The translation is: Don't blame the overall environment for your failure at the end—blame yourself for your poor skills.

Nói thật, câu này khi đặt trong cuộc phỏng vấn này, thật sự có chút hương vị đó.

Hãy quay lại câu meme mở đầu một lần nữa.

Chúng ta chỉ còn vài ngày làm việc cuối cùng, hãy tận dụng ngay khi vẫn còn cơ hội.

Không ai biết được trong giọng điệu đó là sự hưng phấn hay nỗi buồn.

Vì đối với người nói những lời này, hai cảm xúc đó vốn là một.

Tworek nói, nhịp điệu của ngành này cực kỳ hao tổn, làm lâu như vậy, thực sự rất, rất mệt.

Nhưng nếu chúng ta thực sự tin tưởng, đây là khoảng thời gian quan trọng nhất trong suốt sự nghiệp của chúng ta.

Có lẽ, điều đó thực sự rất đáng giá.

Tài liệu tham khảo:

https://x.com/MTSlive/status/2092387349623935322

Bài viết này đến từ tài khoản WeChat “New Intelligence Yuan”, tác giả: Revelation of ASI, biên tập: Moses