Andrej Karpathy dự đoán 10 năm để các mô hình LLM đạt được học liên tục

Gần đây, chúng tôi đã đưa tin về nhiều công ty khởi nghiệp và nghiên cứu tập trung vào hướng “học liên tục”, chẳng hạn như “Mind Lab liên tục công bố tiến bộ mới nhất về LoRA, hình thành mô hình mới cho học liên tục của mô hình lớn”, “Buông bỏ gông cùm KV Cache, nén ngữ cảnh dài vào trọng số, liệu học liên tục của mô hình lớn có hy vọng?”, “ICML 2026 | Đột phá giới hạn! Đại học Hồng Kông đề xuất kiến trúc học liên tục đầu tiên thích ứng với hơn 300 nhiệm vụ, giải quyết vấn đề quên đi”, “Có thể khiến DeepSeek Harness tự tiến hóa! Tác giả của LlamaFactory mở nguồn công cụ mới: Tự động tạo Agent chỉ với 0,2 nhân dân tệ〉, 〈Khi “lớn lên” không còn là con đường duy nhất, một mô hình nội địa khác đã được mở nguồn〉…

Đúng vậy, khá dày đặc, “học tập không ngừng” cũng đang trở thành một trong những từ khóa chúng ta thường xuyên gặp phải. Và đằng sau điều này cũng cho thấy một phán đoán được lặp đi lặp lại.

Tháng 10 năm 2025, Andrej Karpathy nói trên podcast của Dwarkesh Patel: “Các mô hình lớn hiện tại ‘không có khả năng học liên tục. Bạn không thể nói với nó một điều gì đó rồi mong nó ghi nhớ’. Ông cho rằng để khắc phục những khiếm khuyết nhận thức này, có lẽ cần thêm mười năm nữa. Hai tháng sau, trong bản tổng kết hàng năm, ông đưa câu nói này vào bối cảnh lớn hơn: Sự bứt phá về năng lực của các mô hình năm 2025 chủ yếu đến từ học tăng cường với phần thưởng có thể xác minh (RLVR), nhưng trong toàn bộ hệ sinh thái công nghệ LLM, các khả năng như trí nhớ, cảm nhận đa phương thức, học liên tục và thao tác máy tính vẫn là những điểm yếu rõ rệt: “Chúng ta đã có các bản mẫu, nhưng chưa có tác nhân nào đủ thông minh để làm đồng nghiệp”.

Học liên tục (Continual Learning, còn gọi là học suốt đời/Lifelong Learning) đã trở thành một trong những khái niệm nóng nhất trong năm qua.

Nó chỉ việc mô hình sau khi được triển khai vẫn có thể tiếp tục hấp thụ từ các nhiệm vụ mới, kiến thức mới và kinh nghiệm mới, đồng thời không quên những gì đã học trước đó.

Nghe thì có vẻ hiển nhiên, nhưng thực hiện lại cực kỳ khó khăn, khó đến mức trở thành cục xương cứng nhất trên con đường hướng tới “đồng nghiệp AI”. Và chuỗi bài báo trên cũng cho thấy, con đường này không còn là một hướng đi duy nhất, mà là nhiều nhánh khác nhau đang cùng tiến về phía trước.

Trong năm qua, giới học thuật và công nghiệp đã phát triển nhiều hướng tiếp cận khác nhau nhằm giúp mô hình “học trong quá trình sử dụng”. Một số hướng gắn bộ nhớ bên ngoài mô hình, một số liên tục chỉnh sửa trọng số, một số tái huấn luyện từ đầu, và một số ý tưởng mới hơn cố gắng định nghĩa lại chính khái niệm “học”. Bài viết này cố gắng làm rõ từng hướng tiếp cận, phân tích xem mỗi con đường đang đánh cược vào điều gì và gặp trở ngại ở đâu.

Rào cản cốt lõi của việc học liên tục có một cái tên chuyên biệt: esquecimento catastrofico (catastrophic forgetting). Kiến thức của mạng nơ-ron được lưu trữ trong hàng tỷ trọng số; khi bạn tinh chỉnh mô hình bằng dữ liệu mới để cập nhật các trọng số này, mô hình thường ghi đè lên các tham số chịu trách nhiệm cho khả năng cũ trong quá trình học nhiệm vụ mới, dẫn đến sự sụt giảm đáng kể hiệu suất trên các nhiệm vụ trước đây mà nó từng thành thạo.

Sơ đồ về sự lãng quên thảm khốc. Khi mạng thần kinh sâu nhân tạo được huấn luyện tuần tự trên hai nhiệm vụ, nó sẽ nhanh chóng và hoàn toàn quên nhiệm vụ đầu tiên khi huấn luyện nhiệm vụ thứ hai.

Hiện tượng này đã được nghiên cứu rất nhiều trong thời đại các mô hình nhỏ, nhưng khi áp dụng cho các LLM, nó lại mang đến những vấn đề mới. Bộ tiêu chuẩn TRACE, được thiết kế đặc biệt để đánh giá khả năng học liên tục của LLM, phát hiện rằng việc tinh chỉnh liên tục một mô hình đã được căn chỉnh không chỉ khiến nó quên các nhiệm vụ cũ, mà còn làm suy giảm cả khả năng tổng quát và khả năng tuân theo lệnh. Nói cách khác, khi bạn muốn dạy mô hình một điều mới, chi phí có thể là nó trở nên kém thông minh hơn và khó nghe lời hơn.

Chính vì việc thay đổi trọng số trực tiếp mang rủi ro lớn như vậy, nên "học liên tục" mới chia thành nhiều trường phái khác nhau. Sự khác biệt cốt lõi giữa chúng thực chất nằm ở việc lựa chọn khác nhau giữa "có nên thay đổi trọng số hay không" và "nên lưu trữ kiến thức mới ở đâu".

Ý tưởng trực tiếp và nhanh chóng nhất là: hoàn toàn không thay đổi trọng số mô hình, mà lưu trữ kiến thức mới vào một cơ sở dữ liệu bên ngoài mô hình, và truy xuất lại vào ngữ cảnh khi cần thiết. Con đường này bắt nguồn từ RAG (Tăng cường sinh học bằng truy vấn), hiện đã phát triển thành một lĩnh vực riêng biệt: Trí nhớ tác nhân (Agent Memory).

Công việc tiêu biểu là MemGPT (công ty đứng sau nó hiện đã đổi tên thành Letta). Nó so sánh việc quản lý ngữ cảnh của LLM với việc quản lý bộ nhớ của hệ điều hành, phân biệt giữa “ngữ cảnh làm việc” hạn chế và “bộ nhớ ngoài” lớn hơn, giúp mô hình tự quyết định cái gì nên được tải vào ngữ cảnh và cái gì nên được ghi vào lưu trữ.

Theo hướng này, một loạt hệ thống đã được phát triển với các trọng tâm khác nhau: Mem0 tập trung vào khả năng truy xuất bộ nhớ dài hạn ở cấp độ sản xuất và có khả năng mở rộng; Zep bổ sung đồ thị tri thức theo thời gian lên cơ chế truy vấn để xử lý suy luận thời gian giữa các phiên; A-MEM lấy cảm hứng từ phương pháp ghi chú thẻ (Zettelkasten), gán nhãn cấu trúc cho từng bộ nhớ và tự động liên kết với các mục cũ liên quan, giúp việc truy vấn trở nên sát với ngữ cảnh hơn.

Karpathy cũng đã đầu tư vào hướng này. Ông liên tục nhấn mạnh rằng, tương lai không cần bộ nhớ kiểu “ổ cứng lớn hơn”, mà là một “lõi nhận thức” (cognitive core) tinh gọn (ông ước tính chỉ cần một đến hai tỷ tham số) kèm theo một cấu trúc bộ nhớ bên ngoài tự tăng trưởng theo cấp số nhân.

Dựa trên ý tưởng này, anh ấy đã đăng tải trên GitHub một mô hình có tên “LLM Wiki”: thay vì mỗi lần truy vấn đều sử dụng RAG để truy xuất các khối văn bản gốc, anh ấy để tác nhân chủ động biên soạn tài liệu thành một cơ sở tri thức được cập nhật liên tục và liên kết lẫn nhau, sau đó mới truy vấn nó.

Tài liệu wiki về LLM của Karpathy đã nhận được gần 45.000 star và đã được fork hơn 9.000 lần

Letta tự mình nâng tầm hệ thống này thành chủ đề “học tập liên tục trong không gian token”. Họ chỉ ra rằng, phương pháp mặc định hiện nay là “thêm trước, tóm tắt sau”, tức là liên tục tích lũy kinh nghiệm gốc cho đến khi tràn ngữ cảnh, sau đó nén thành bản tóm tắt — điều này có hai nhược điểm: việc thêm vào đẩy toàn bộ công việc biểu diễn sang giai đoạn suy luận, khiến mỗi lần lan truyền thuận phải xử lý lại nhật ký gốc; còn bản tóm tắt thì mang tính mất mát thông tin và đột ngột, các chi tiết quan trọng có thể biến mất mà không hề có cảnh báo trước. Giả định của Letta là những ký ức được học trong không gian token trong tương lai sẽ có giá trị lớn hơn chính các trọng số mô hình.

Ưu điểm của hướng này là an toàn, kiểm soát được và có thể giải thích được; nếu sai sót có thể xóa ngay lập tức. Nhược điểm là nó về bản chất chưa thực sự “nội hóa” kiến thức vào mô hình, mỗi lần đều phải thông qua cửa hẹp là truy vấn và ngữ cảnh; một khi thư viện bộ nhớ mở rộng, độ chính xác và chi phí truy vấn sẽ trở thành điểm nghẽn.

Đi xa hơn một bước từ việc ghi nhớ ngoại tuyến, là một cách tiếp cận tinh vi hơn: không thay đổi trọng số, mà để ngữ cảnh đầu vào của mô hình liên tục phát triển. Điều này được gọi là kỹ thuật ngữ cảnh (Context Engineering).

Tháng 10 năm 2025, ACE (Agentic Context Engineering) do Stanford, SambaNova và UC Berkeley đề xuất là đại diện tiêu biểu. Nó xử lý ngữ cảnh như một “sổ tay chiến lược” (playbook) liên tục phát triển, được duy trì thông qua ba vai trò phân công: Generator chịu trách nhiệm tạo ra các quỹ đạo suy luận, Reflector rút ra kinh nghiệm cụ thể từ những thành công và thất bại, còn Curator tổng hợp những kinh nghiệm này thành các bản cập nhật tăng dần có cấu trúc và hợp nhất vào sổ tay.

ACE nhằm giải quyết hai vấn đề phổ biến của các phương pháp tương tự: một là "thiên vị về sự ngắn gọn" (brevity bias): khi LLM lặp lại việc viết lại ngữ cảnh, nó có xu hướng nén và loại bỏ các chi tiết chuyên ngành; hai là "sụp đổ ngữ cảnh" (context collapse): việc lặp lại viết lại khiến các chi tiết dần bị mất đi.

ACE sử dụng các bản cập nhật tăng dần (delta updates) thay vì ghi lại toàn bộ để tránh hai điểm này. Theo dữ liệu từ bài báo, ACE cải thiện 10,6% trên các nhiệm vụ tác nhân và 8,6% trên suy luận tài chính, đồng thời giảm độ trễ điều chỉnh khoảng 86,9%; trên bảng xếp hạng AppWorld, sử dụng các mô hình mã nguồn mở nhỏ hơn DeepSeek -V3.1 kết hợp với ACE, điểm trung bình có thể ngang bằng với tác nhân thông minh sản xuất dựa trên GPT-4.1 IBM CUGA.

Đáng chú ý, ACE nhấn mạnh rằng nó có thể hoạt động mà không cần giám sát có gán nhãn; nó dựa vào các tín hiệu phản hồi tự nhiên phát sinh trong quá trình thực thi (ví dụ: mã chạy thành công hay gặp lỗi) để hướng dẫn việc suy ngẫm và tổng hợp. Điều này giúp nó gắn liền với câu chuyện lớn hơn về “các tác nhân học từ kinh nghiệm của chính mình”.

Việc sử dụng ghi nhớ ngoại vi và kỹ thuật ngữ cảnh giúp tránh rủi ro thay đổi trọng số, nhưng đồng thời cũng tránh được việc nội hóa kiến thức thực sự. Một nhóm nhà nghiên cứu khác cho rằng, về lâu dài, một số kiến thức và kỹ năng cuối cùng phải được ghi vào các tham số mới đủ hiệu quả. Đây chính là quá trình huấn luyện sau liên tục (Continual Post-training), chủ yếu bao gồm các giai đoạn như tinh chỉnh lệnh liên tục, căn chỉnh sở thích liên tục, v.v.

John Schulman của Thinking Machines đã đưa ra một quan điểm phân cấp: ông so sánh việc học với các loại học trong tâm lý học như học vận động, trí nhớ tình cảnh và trí nhớ thủ tục, cho rằng học trong ngữ cảnh sẽ tiếp tục xử lý tốt các nhiệm vụ học ngắn hạn, trong khi tinh chỉnh tham số (bao gồm các phương pháp như LoRA) sẽ được xếp chồng lên trên, đặc biệt phù hợp với những nhiệm vụ đòi hỏi dung lượng lớn và cần hấp thụ kiến thức thực sự — khi thời gian kéo dài, học trong ngữ cảnh không còn đủ, lúc đó tinh chỉnh tham số sẽ chiến thắng.

Kẻ thù lớn nhất của con đường này vẫn là sự lãng quên thảm khốc, và một giải pháp thú vị gần đây đến từ Tinker của Thinking Machines.

Tinker là sản phẩm đầu tiên của họ, dự kiến ra mắt vào tháng 10 năm 2025, một API tinh chỉnh dựa trên LoRA, ẩn đi độ phức tạp của đào tạo phân tán và chỉ phơi bày các nguyên tử cấp thấp như forward_backward và optim_step, giúp các nhà nghiên cứu tập trung vào dữ liệu và thuật toán.

Về việc học liên tục, họ đề xuất một công thức gọi là Self-Distillation Fine-Tuning (SDFT): nhận thức cốt lõi là việc tinh chỉnh giám sát thông thường mang tính “off-policy”, buộc mô hình phải mô phỏng các token mà chính nó sẽ không bao giờ tạo ra, do đó mỗi khi học một kỹ năng mới sẽ làm suy giảm khả năng cũ; SDFT cho phép mô hình đóng vai trò là giáo viên của chính mình, học các kỹ năng mới từ các ví dụ mẫu mà không quên đi những kỹ năng cũ. Một công ty khởi nghiệp tên Trajectory đã sử dụng Tinker làm hạ tầng cốt lõi cho nền tảng học liên tục của mình.

Nhân tiện, việc Tinker sử dụng LoRA thay vì tinh chỉnh toàn bộ còn mang lại một lợi ích thực tế: nhiều nhiệm vụ tinh chỉnh có thể chia sẻ cùng một cụm tính toán, giúp phân tán chi phí. Điều này cũng giải thích tại sao “học liên tục như một dịch vụ” đang trở thành một ngành kinh doanh: biến các cập nhật mô hình thường xuyên thành một API có thể gọi theo nhu cầu chính là hướng thử nghiệm hiện nay của ngành công nghiệp.

Nếu hậu huấn luyện là can thiệp vào “lớp bề mặt” của mô hình, thì huấn luyện liên tục (Continual Pre-training, CPT) là quay trở lại tầng cơ sở, sử dụng dữ liệu mới để tiếp tục huấn luyện mô hình, giúp nó thích nghi với các lĩnh vực mới, ngôn ngữ mới hoặc sự thay đổi của phân phối kiến thức theo thời gian. So với việc trộn lẫn dữ liệu cũ và mới để huấn luyện lại từ đầu, CPT dựa trên nền tảng mô hình đã có, tiết kiệm đáng kể tài nguyên tính toán.

Ba ứng dụng điển hình của nó là: kiến thức thay đổi theo thời gian, mở rộng đa ngôn ngữ và thích ứng đa lĩnh vực. Tuy nhiên, chi phí cũng rõ ràng: nhiều nghiên cứu thực nghiệm đã liên tục chỉ ra rằng việc tiền huấn luyện liên tục có chi phí tính toán cao và dễ gây ra sự lãng quên thảm khốc đối với các kiến thức đã học. Do đó, cộng đồng học thuật đang không ngừng tìm kiếm các phương pháp tiền huấn luyện liên tục không cần tái phát lại và không cần gán nhãn nhiệm vụ, nhằm đạt được khả năng không quên ở quy mô LLM.

Đối với phần lớn các công ty, chi phí để tái huấn luyện một mô hình tiên tiến từ đầu là quá cao đến mức không thực tế, đây chính là nguồn gốc của câu nói nổi tiếng của Karpathy: “Các mô hình lớn không phù hợp để tái huấn luyện thường xuyên”. Do đó, “tái huấn luyện” theo nghĩa nghiêm ngặt hơn chủ yếu là lựa chọn nội bộ của các phòng thí nghiệm tiên tiến, trong khi huấn luyện liên tục là một giải pháp trung gian khả thi hơn.

Bốn hướng trước đây vẫn phần nào xoay quanh khuôn khổ nhị phân giữa "phần mềm gian lận" và "thay đổi trọng số". Tuy nhiên, một loạt công việc mới xuất hiện trong năm qua đang nỗ lực thoát khỏi khuôn khổ này và tái định nghĩa chính bản chất của việc học.

Một ý tưởng là để mô hình tự tạo dữ liệu huấn luyện và tự quyết định cách cập nhật chính nó.

MIT’s SEAL (Self-Adapting Language Models) là một ví dụ điển hình. Với một đầu vào mới, mô hình sẽ tạo ra một đoạn “tự chỉnh sửa” (self-edit); đây là một chỉ thị bằng ngôn ngữ tự nhiên, hướng dẫn cách tái cấu trúc thông tin, sử dụng siêu tham số nào để cập nhật trọng số, thậm chí gọi công cụ nào để tăng cường dữ liệu; sau đó mô hình tự tinh chỉnh dựa trên đoạn này để tạo ra các cập nhật trọng số bền vững. Việc xác định “loại tự chỉnh sửa nào là hiệu quả” được huấn luyện thông qua một vòng lặp học tăng cường bên ngoài, với tín hiệu phần thưởng là hiệu suất của mô hình sau khi cập nhật trên các nhiệm vụ hạ lưu.

Phiên bản NeurIPS 2025 thêm một lần nữa chứng minh rằng khả năng thích ứng này sẽ được củng cố khi quy mô mô hình tăng lên, đồng thời sử dụng học tăng cường để giảm thiểu hiện tượng quên. Các tác giả của nó kỳ vọng một mô hình có thể tự đánh giá trong quá trình suy luận “liệu có nên học ngay lúc này không”, biến quá trình tinh luyện chuỗi suy luận một lần thành khả năng vĩnh viễn.

Một ý tưởng táo bạo hơn nữa đến từ Học lồng ghép của Google, được công bố tại NeurIPS 2025. Hạt nhân của nó là tái hiểu một mô hình như một tập hợp các bài toán tối ưu được lồng ghép, đa cấp, mỗi bài toán mang theo các “dòng ngữ cảnh” và tần suất cập nhật khác nhau — kiến trúc và thuật toán tối ưu hóa, dưới góc nhìn này, được thống nhất thành các cấp độ khác nhau của cùng một sự việc.

Như một bản chứng minh khái niệm, họ đã tạo ra một kiến trúc tự sửa đổi có tên Hope, mở rộng hai điểm trên kiến trúc trí nhớ dài hạn Titans: cấp độ học tập lồng ghép không giới hạn và một hệ thống “trí nhớ liên tục” (CMS). Nói một cách đơn giản, thay vì chỉ phân chia thành trí nhớ ngắn hạn và dài hạn, giờ đây là một dãy các mô-đun trí nhớ được cập nhật xuyên suốt các thang thời gian.

Trong các thí nghiệm, Hope vượt trội hơn các mô hình Transformer tiêu chuẩn và các mô hình tuần tự hiện đại trong các nhiệm vụ mô hình ngôn ngữ, suy luận ngữ cảnh dài và học liên tục. Điều thú vị là, các nghiên cứu tiếp theo đã giới thiệu giai đoạn “ngủ” vào kiến trúc này—giống như con người củng cố ký ức trong lúc ngủ, mô hình tận dụng sức tính toán giữa các phiên hoạt động để tinh luyện các khái niệm hữu ích vào bộ nhớ tham số bền vững hơn.

Ở mức trừu tượng cao hơn là câu chuyện về “Thời đại Kinh nghiệm” do David Silver và Richard Sutton đề xuất.

Phán đoán của họ là: trong các lĩnh vực then chốt như toán học, mã hóa, khoa học, kiến thức có thể khai thác từ dữ liệu con người đang tiến gần đến giới hạn, và để tiếp tục tiến bộ, AI cần liên tục học hỏi từ kinh nghiệm do tương tác với môi trường tạo ra, hình thành một vòng lặp tự cung cấp dữ liệu. Họ xem AlphaProof của DeepMind năm 2024 (đạt huy chương IMO thông qua “tương tác liên tục với hệ thống chứng minh hình thức”) như khởi đầu của thời đại này. Câu chuyện này kết nối việc học liên tục, học tăng cường và sự khám phá tự chủ của tác nhân, đồng thời đặt ra một vấn đề chưa được giải quyết: ai sẽ thiết kế các hàm phần thưởng biến tín hiệu thô thành hướng dẫn hữu ích?

Ngoài ra, còn có một hướng lân cận dễ bị nhầm lẫn với học liên tục nhưng có mục tiêu khác: chỉnh sửa tri thức (Knowledge Editing). Đại diện bởi ROME và MEMIT, phương pháp này thực hiện cập nhật chính xác từng hoặc hàng loạt sự kiện bằng cách xác định và sửa đổi các lớp MLP lưu trữ thông tin cụ thể, mà không cần tái huấn luyện toàn bộ mô hình. Tuy nhiên, mục tiêu của nó thực chất khác với học liên tục—chỉnh sửa tri thức hướng đến việc ghi đè chính xác một sự kiện cụ thể; trong các kịch bản chỉnh sửa liên tục và suốt đời, các thay đổi tham số lặp đi lặp lại sẽ can thiệp lẫn nhau và tích lũy dần dần “độc tính”, dẫn đến sự sụp đổ của mô hình, từ đó thúc đẩy sự ra đời của các phương pháp chuyên biệt như WISE và AlphaEdit để xử lý các chỉnh sửa theo chuỗi.

Khi nhìn chung những hướng này lại, bạn sẽ thấy chúng thực chất được sắp xếp dọc theo một trục mang tên “kiến thức tồn tại ở đâu”.

Bên ngoài cùng là bộ nhớ ngoài và kỹ thuật ngữ cảnh, kiến thức hoàn toàn tồn tại trong không gian token nằm ngoài mô hình, an toàn và kiểm soát được nhưng chưa thực sự được nội hóa; ở giữa là tiếp tục huấn luyện sau và tiếp tục huấn luyện trước, kiến thức được ghi vào trọng số, giới hạn khả năng cao hơn nhưng phải đối mặt với hiện tượng esquecimento thảm khốc; bên trong cùng và cũng là前沿 nhất là những ý tưởng mới nhằm cho phép mô hình tự sửa đổi và tự tiến hóa, nỗ lực biến hành động “học tập” thành một phần của khả năng chính của mô hình.

Một quan sát thực tế là: những hướng này rất có khả năng không loại trừ lẫn nhau, mà sẽ phối hợp theo từng cấp độ. Quan điểm học phân tầng của Schulman và ý tưởng của Karpathy về “hạt nhân nhận thức + bộ nhớ bên ngoài” đều nói về cùng một điều: những kiến thức ngắn hạn, dễ thay đổi sẽ được giao cho ngữ cảnh và bộ nhớ bên ngoài, trong khi những khả năng dài hạn, cần tích lũy sẽ được giao cho tinh chỉnh tham số, mỗi bên đảm nhiệm vai trò riêng của mình. ACE có thể tiến hóa thông qua phản hồi thực thi mà không cần giám sát, SEAL sử dụng học tăng cường để tối ưu tự chỉnh sửa — cả hai đều ngụ ý một xu hướng chung: việc học liên tục trong tương lai rất có thể sẽ để mô hình tự chủ đạo “học gì và học như thế nào”.

Vậy thì quay lại với nhận định của Karpathy rằng “còn cần mười năm nữa”, liệu việc học liên tục đã được giải quyết chưa? Câu trả lời có lẽ là — chưa, nhưng đã không còn hoàn toàn trống rỗng. Rào cản cốt lõi là quên thảm họa vẫn chưa được khắc phục triệt để; các phương pháp như SDFT và học lồng ghép vẫn chỉ đang “giảm nhẹ” chứ không “xóa bỏ” nó. Liệu chỉ dựa vào quản lý ngữ cảnh tốt hơn và tinh chỉnh có thể giải quyết học liên tục, hay cần những ý tưởng hoàn toàn mới? Câu hỏi cơ bản hơn này, ngay cả Schulman cũng thừa nhận vẫn chưa có kết luận rõ ràng.

Có thể khẳng định rằng, trong giai đoạn từ năm 2025 đến 2026, việc học tập liên tục đã từ một “kỹ năng bị thiếu hụt” được nhắc đi nhắc lại, trở thành một lĩnh vực sôi động với nhiều hướng phát triển khác nhau và bắt đầu có các công ty khởi nghiệp tham gia phát triển sản phẩm. Con đường nào có thể nhanh chóng biến “đồng nghiệp AI” từ bản mẫu thành hiện thực, đáng để theo dõi tiếp.

Liên kết tham khảo

https://www.lesswrong.com/posts/qBsj6HswdmP6ahaGB/andrej-karpathy-on-llm-cognitive-deficits

https://karpathy.bearblog.dev/year-in-review-2025/

https://www.letta.com/blog/continual-learning/

https://arxiv.org/abs/2510.04618

https://arxiv.org/abs/2402.01364

https://thinkingmachines.ai/tinker/

https://arxiv.org/pdf/2604.05096

https://arxiv.org/pdf/2606.03979

Bài viết này đến từ tài khoản WeChat “Machine Heart” (ID: almosthuman2014), tác giả: Machine Heart học liên tục, biên tập: Panda