source avatarMinty

Chia sẻ

Liệu các bộ khung có thể mở khóa các hệ thống AI mạnh mẽ hơn không? Các nhà nghiên cứu đã phát triển một bộ khung mới cho phép các mô hình hiện có xử lý các quy trình dài và phức tạp hơn. Mô hình Ngôn ngữ Phân cấp (RLM) lưu trữ các tệp và tập dữ liệu lớn bên ngoài ngữ cảnh của mô hình chính. Mô hình sử dụng mã để chọn các phần liên quan, gửi từng phần qua một yêu cầu mô hình riêng biệt, rồi kết hợp các kết quả lại. Điều này khác với các phiên thông thường, nơi các tệp, đầu ra công cụ và kết quả tích lũy trong một ngữ cảnh duy nhất. Khi ngữ cảnh mở rộng, các mô hình có thể bắt đầu bỏ lỡ các chi tiết quan trọng. Để kiểm tra xem cấu trúc này có cải thiện khả năng học tập hay không, các nhà nghiên cứu đã sử dụng RL để huấn luyện Qwen3-30B bên trong một bộ khung RLM cố định chỉ bằng các tác vụ ngắn, sau đó đánh giá nó trên các tác vụ dài hơn 8–32 lần. Trên các bài đánh giá dài hơn, mô hình được huấn luyện bằng RLM cho thấy sự cải thiện đáng kể, trong khi mô hình tương tự được huấn luyện mà không có bộ khung thường không tiến bộ nhiều. Trong các thí nghiệm riêng biệt, nó cũng áp dụng cùng các chiến lược này vào các lĩnh vực mới đòi hỏi các bước cơ bản tương tự.

No.0 picture
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này. Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụngTiết lộ rủi ro của chúng tôi.