Tongyi Lab запускает VimRAG: мультимодальную RAG-систему с графом памяти

Согласно новостям ME, 10 апреля (UTC+8) лаборатория Tongyi Alibaba официально запустила новую многомодальную RAG-архитектуру VimRAG, направленную на решение долгосрочной проблемы «слепых зон состояния» в существующих системах. VimRAG заменяет традиционную линейную историю на многомодальную карту памяти (Multimodal Memory Graph), организуя процесс рассуждения с помощью динамической направленной ациклической структуры (DAG), что эффективно устраняет избыточный поиск и обеспечивает полное отслеживание путей исследования. Внедрение графо-модулированного кодирования визуальной памяти (Graph-Modulated Visual Memory Encoding) позволяет адаптивно распределять токены для высоконагруженных визуальных данных, таких как изображения, с использованием механизма GGPO для точного распределения доверия и повышения точности обоснования выводов. Согласно опубликованным тестовым данным, VimRAG показал выдающиеся результаты на нескольких многомодальных эталонных тестах, включая SlideVQA, MMLongBench и LVBench, при этом версия Qwen3-VL-8B-Instruct заняла лидирующие позиции по общему баллу среди аналогичных решений. Цель VimRAG — перевести многомодальную RAG от «простого поиска» к «структурированному надежному рассуждению», обеспечив более мощное системное решение для обработки сложных длинных документов и многомодальных гибридных сценариев. (Источник: BlockBeats)