Tongyi Lab lança o VimRAG: Framework Multimodal RAG com Gráfico de Memória

Notícia da ME, em 10 de abril (UTC+8), o Laboratório Tongyi da Alibaba lançou oficialmente o novo framework multimodal RAG, o VimRAG, focado em resolver o problema persistente de "zonas cegas de estado" nos sistemas atuais. O VimRAG substitui o histórico linear tradicional por um grafo de memória multimodal (Multimodal Memory Graph), organizando o processo de raciocínio com uma estrutura de grafo direcionado acíclico (DAG), eliminando efetivamente buscas redundantes e rastreando integralmente os caminhos explorados. Introduzindo o Codificador de Memória Visual Modulado por Grafo (Graph-Modulated Visual Memory Encoding), permite alocação adaptativa de tokens para dados visuais de alta carga, como imagens, combinado com o mecanismo GGPO para atribuição de crédito em nível fino, aumentando a precisão da atribuição de raciocínio. De acordo com os dados de avaliação publicados, o VimRAG destacou-se em vários benchmarks multimodais, como SlideVQA, MMLongBench e LVBench, com a versão Qwen3-VL-8B-Instruct liderando em pontuação geral em comparação com soluções similares. O objetivo do VimRAG é elevar o RAG multimodal da fase de "busca simples" para o nível de "raciocínio estruturado e confiável", oferecendo uma solução sistêmica mais robusta para processar documentos longos e complexos, bem como cenários híbridos multimodais. (Fonte: BlockBeats)