Khung MeMo của MIT tăng hiệu suất LLM lên 26%

iconCryptoBriefing
Chia sẻ
Share IconShare IconShare IconShare IconShare IconShare IconCopy
AI summary iconTóm tắt

expand icon
Các nhà nghiên cứu tại MIT, cùng các đội ngũ từ Singapore và A*STAR, đã công bố khung MeMo, giúp tăng hiệu suất của các mô hình LLM lên 26,73% mà không cần tái huấn luyện. Hệ thống sử dụng một mô hình nhỏ hơn để lưu trữ và truy xuất kiến thức, giữ cho mô hình LLM chính ở trạng thái cố định. Bản cập nhật tin tức trên blockchain này nhấn mạnh các cải tiến trên các bộ dữ liệu như BrowseComp-Plus và NarrativeQA, với khả năng tương thích trên các mô hình mã nguồn mở và đóng. Phương pháp này tránh được hiện tượng esquecimento thảm khốc và có thể mang lại lợi ích cho các lĩnh vực tin tức tiền điện tử như blockchain và DeFi, nơi các tác nhân AI cần kiến thức được cập nhật mà không cần tái huấn luyện.

Việc dạy một mô hình ngôn ngữ lớn điều gì đó mới sau khi đã được huấn luyện, nói một cách nhẹ nhàng, là một nỗi đau. Bạn ли phải huấn luyện lại toàn bộ mô hình (tốn kém), nhét tài liệu vào cửa sổ ngữ cảnh của nó (hạn chế), hoặc gắn thêm các hệ thống truy xuất thường gặp khó khăn với các truy vấn phức tạp. Các nhà nghiên cứu từ MIT CSAIL, Đại học Quốc gia Singapore và A*STAR vừa công bố một khung làm việc tránh được cả ba vấn đề này.

Khung được gọi là MeMo, viết tắt của Memory as a Model. Nó được mô tả chi tiết trong một bài báo công bố ngày 20 tháng 5 năm 2026 (arXiv:2605.15156), và ý tưởng cốt lõi rất đơn giản và tinh tế: thay vì ép buộc kiến thức mới vào một LLM hiện có, hãy huấn luyện một mô hình nhỏ riêng biệt, với nhiệm vụ duy nhất là ghi nhớ thông tin. Mô hình LLM chính được giữ nguyên. Nó chỉ hỏi mô hình bộ nhớ khi cần câu trả lời.

MeMo hoạt động như thế nào

Về mặt kỹ thuật, MeMo sử dụng quy trình tổng hợp QA với năm bước để huấn luyện mô hình Memory trên kiến thức lĩnh vực mới. Trong quá trình suy luận, mô hình Executive LLM đã cố định, chẳng hạn như Qwen2.5 hoặc Gemini-3-Flash, truy vấn mô hình Memory thông qua một giao thức đa vòng lặp có cấu trúc. Mô hình Memory nội hóa thông tin thay vì chỉ truy xuất các đoạn văn bản, đây chính là điểm khác biệt so với các thiết lập truyền thống dựa trên truy xuất tăng cường sinh (RAG).

Kiến trúc này tránh hiện tượng esquecimento catastrófico, hiện tượng xảy ra khi cập nhật mạng nơ-ron với dữ liệu mới khiến nó mất đi các khả năng đã học trước đó. Nó cũng có nghĩa là bạn không bao giờ cần tinh chỉnh lại mô hình Điều hành lớn và tốn kém khi có thông tin mới. Bạn chỉ cần cập nhật mô hình Bộ nhớ nhỏ hơn.

Quảng cáo

Các bài kiểm tra được thực hiện trên các bộ dữ liệu bao gồm BrowseComp-Plus, NarrativeQA và MuSiQue cho thấy sự cải thiện hiệu suất lên đến 26,73% khi các nhà nghiên cứu chuyển sang sử dụng mô hình Executive là Gemini-3-Flash, mà không cần tái huấn luyện thành phần Memory. Mô hình Memory, sau khi được huấn luyện, có thể hoạt động trên các mô hình Executive LLM khác nhau như một bộ điều hợp phổ quát.

Tính tương thích plug-and-play này mở rộng đến cả các LLM nguồn mở và nguồn đóng. Bạn có thể huấn luyện một mô hình Memory một lần và triển khai nó với mô hình tiên tiến mà tổ chức của bạn ưa thích, hoặc thay thế các mô hình Executive khi các mô hình tốt hơn xuất hiện. Lớp tri thức vẫn tồn tại độc lập.

So sánh với RAG, phương pháp này có những điểm yếu được ghi nhận rõ ràng. Nó nhạy cảm với nhiễu trong các tài liệu được truy xuất, gặp khó khăn trong việc suy luận đa tài liệu và suy giảm khi câu hỏi yêu cầu tổng hợp thông tin từ nhiều nguồn. Cách tiếp cận của MeMo, tức là mã hóa kiến thức vào trọng số mô hình thay vì truy xuất văn bản thô, dường như xử lý các tình huống này một cách ổn định hơn.

Tại sao điều này lại quan trọng đối với cơ sở hạ tầng AI trong tiền điện tử

Không có token blockchain hay dự án nào liên quan đến tiền mã hóa nào được đề cập trong nghiên cứu MeMo. Hãy rõ ràng về điều đó ngay từ đầu.

Phân tích trên chuỗi là một trong những trường hợp sử dụng rõ ràng nhất. Các tác nhân AI theo dõi các giao thức DeFi, theo dõi hoạt động ví hoặc cảnh báo các giao dịch khả nghi cần kiến thức được cập nhật liên tục về các hợp đồng mới, đề xuất quản trị và điều kiện thị trường. Kiến trúc kiểu MeMo có thể cho phép một tác nhân phân tích DeFi duy trì một kho kiến thức bền vững, có thể cập nhật trong mô hình Bộ nhớ của nó trong khi thực hiện suy luận thông qua bất kỳ LLM tiên tiến nào cung cấp khả năng lập luận tốt nhất. Khi một giao thức thay đổi các tham số của nó, bạn cập nhật mô hình Bộ nhớ. Bộ điều hành vẫn không thay đổi.

Góc độ chi phí vận hành là đáng kể. Việc tái huấn luyện các mô hình lớn là một trong những chi phí lớn nhất đối với các ứng dụng tiền mã hóa bản địa AI, và đây là chi phí lặp lại tăng theo tần suất thay đổi của dữ liệu cơ sở. Một khung làm việc loại bỏ việc tái huấn luyện trong khi duy trì hoặc cải thiện hiệu suất có thể giảm đáng kể chi phí vận hành các tác nhân AI phức tạp.

Những điều nhà đầu tư nên theo dõi

RAG đã trở thành phương pháp mặc định để giữ cho các LLM luôn cập nhật, và một toàn bộ hệ sinh thái gồm các cơ sở dữ liệu vector, mô hình nhúng và quy trình truy xuất đã được xây dựng xung quanh nó. Nếu cách tiếp cận của MeMo chứng minh hiệu quả hơn khi mở rộng quy mô, một số hạ tầng đó sẽ trở nên ít cần thiết hơn.

Một rủi ro cần lưu ý: các bài kiểm tra hiệu suất của MeMo được thực hiện trên các bộ dữ liệu học thuật. Hiệu suất trong môi trường thực tế, đầy nhiễu và đối kháng như thị trường tiền điện tử có thể khác biệt.

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này. Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụngTiết lộ rủi ro của chúng tôi.