LlamaIndex lança o LiteParse v2.0 reescrito em Rust, com aumento de velocidade de até 100x

ME AI mensagem, segundo monitoramento da Beating, o LlamaIndex anunciou a reescrita completa da biblioteca de análise de documentos LiteParse em Rust, lançando a versão 2.0. O analisador central reestruturado apresenta aumento de velocidade de até 100 vezes no processamento de documentos pequenos e cerca de 3 vezes no processamento de documentos grandes. A reestruturação visa fornecer uma base de análise espacial local, de alta velocidade e sem necessidade de chamada a modelos grandes, para agentes de IA e pipelines de Geração Aumentada por Recuperação (RAG). O LiteParse 2.0 mantém o design de execução local sem dependência de modelos grandes, integrando um branch personalizado do PDFium para análise espacial de layout e combinando a biblioteca tesseract-rs para implementar funcionalidade de reconhecimento óptico de caracteres (OCR) localmente. A ferramenta atualmente suporta PDF e documentos Office, incluindo DOCX, XLSX e PPTX. O analisador projeta o texto em uma representação bidimensional conforme o layout do documento, gerando texto estruturado que preserva a posição e as relações espaciais, fornecendo aos modelos grandes referências e contexto de alta fidelidade com consumo energético extremamente baixo. Em termos de integração e distribuição no ecossistema, o LlamaIndex oferece suporte nativo a principais ambientes de execução. Desenvolvedores podem integrar rapidamente ao fluxo de desenvolvimento por meio do pip install liteparse em Python, npm i @llamaindex/liteparse em JavaScript e o repositório Cargo em Rust. Graças à construção em Rust na camada inferior, a nova versão permite execução local em navegadores e nós de computação de borda por meio da compilação para o formato WebAssembly. É importante destacar que, devido às restrições do ambiente, a funcionalidade OCR no ambiente WebAssembly não está integrada nativamente; os desenvolvedores precisam implementar a digitalização de arquivos por meio de callbacks externos (como o uso do tesseract.js). (Fonte: BlockBeats)