Ramp Labs đề xuất giải pháp chia sẻ bộ nhớ đa tác nhân, giảm việc sử dụng token lên đến 65%

Theo tin tức từ ME News, vào ngày 11 tháng 4 (UTC+8), công ty cơ sở hạ tầng AI Ramp Labs đã công bố nghiên cứu “Latent Briefing”, một phương pháp chia sẻ ký ức hiệu quả giữa các hệ thống đa tác nhân bằng cách nén trực tiếp bộ nhớ KV của mô hình lớn, giúp giảm đáng kể lượng token tiêu thụ mà không làm giảm độ chính xác. Trong các kiến trúc đa tác nhân phổ biến, người điều phối (Orchestrator) chia nhỏ nhiệm vụ và gọi lặp lại các mô hình người thực hiện (Worker); khi chuỗi suy luận kéo dài, lượng token tiêu thụ tăng theo cấp số nhân. Ý tưởng cốt lõi của Latent Briefing là sử dụng cơ chế chú ý để xác định các phần quan trọng thực sự trong ngữ cảnh, sau đó loại bỏ trực tiếp thông tin dư thừa ở lớp biểu diễn, thay vì phụ thuộc vào tóm tắt LLM chậm hoặc truy vấn RAG kém ổn định. Trong bài kiểm tra chuẩn LongBench v2, phương pháp này cho kết quả nổi bật: lượng token tiêu thụ của mô hình Worker giảm 65%, trung vị tiết kiệm token đạt 49% đối với tài liệu độ dài trung bình (32k đến 100k), độ chính xác tổng thể tăng khoảng 3 điểm phần trăm so với mô hình cơ sở, trong khi thời gian bổ sung cho mỗi lần nén chỉ khoảng 1,7 giây—nhanh hơn khoảng 20 lần so với thuật toán gốc. Nghiên cứu sử dụng Claude Sonnet 4 làm người điều phối và Qwen3-14B làm mô hình Worker, áp dụng cho nhiều loại tài liệu như bài báo học thuật, văn bản pháp lý, tiểu thuyết và báo cáo chính phủ. Nghiên cứu cũng phát hiện rằng ngưỡng nén tối ưu thay đổi tùy theo độ khó của nhiệm vụ và độ dài tài liệu—các nhiệm vụ khó phù hợp với nén mạnh để lọc ra tiếng ồn từ suy luận mang tính đánh cược, trong khi tài liệu dài更适合 nhẹ nhàng nén để giữ lại các thông tin quan trọng phân tán. (Nguồn: BlockBeats)