Tongyi Lab ra mắt VimRAG: Khung RAG đa phương tiện với đồ thị bộ nhớ

Tin tức từ ME News, ngày 10 tháng 4 (UTC+8), Phòng thí nghiệm Tongyi của Alibaba chính thức ra mắt khung RAG đa mô态 thế hệ mới VimRAG, tập trung giải quyết vấn đề “vùng mù trạng thái” lâu năm trong các hệ thống hiện tại. VimRAG nâng cấp lịch sử tuyến tính truyền thống thành đồ thị ký ức đa mô态 (Multimodal Memory Graph), tổ chức quá trình suy luận theo cấu trúc đồ thị có hướng không chu trình (DAG), loại bỏ hiệu quả việc truy vấn trùng lặp và theo dõi toàn bộ hành trình khám phá. Giới thiệu mã hóa ký ức hình ảnh được điều chỉnh bởi đồ thị (Graph-Modulated Visual Memory Encoding), thực hiện phân bổ Token thích ứng cho dữ liệu hình ảnh và các loại dữ liệu hình ảnh tải cao, kết hợp cơ chế GGPO để đạt được phân bổ tín nhiệm tinh vi, nâng cao độ chính xác trong suy luận và truy nguyên nguyên nhân. Theo dữ liệu đánh giá được công bố, VimRAG thể hiện nổi bật trong nhiều bài kiểm tra chuẩn đa mô态 như SlideVQA, MMLongBench, LVBench, phiên bản Qwen3-VL-8B-Instruct đạt điểm tổng hợp dẫn đầu so với các giải pháp cùng loại. Mục tiêu của VimRAG là đưa RAG đa mô態 từ “truy vấn đơn giản” tiến lên “suy luận đáng tin cậy có cấu trúc”, cung cấp giải pháp hệ thống mạnh mẽ hơn cho các tình huống xử lý tài liệu dài phức tạp và cảnh hỗn hợp đa mô態. (Nguồn: BlockBeats)