Firecrawl reescreve o analisador de PDF em Rust, aumentando a velocidade em até 5,7x

Notícia do ME, 15 de abril (UTC+8): segundo monitoramento da 1M AI News, a ferramenta de extração de dados web Firecrawl lançou o Fire-PDF, um mecanismo de análise de PDF reescrito em Rust, que acelera a conversão de PDFs em Markdown estruturado em 3,5 a 5,7 vezes em relação à geração anterior, com tempo médio de processamento por página inferior a 400 milissegundos. O aumento de velocidade deve-se à redução de chamadas desnecessárias à GPU. A Firecrawl também abriu simultaneamente a biblioteca Rust pdf-inspector, que classifica cada página de PDF em milissegundos: páginas de texto puro são extraídas diretamente sem uso da GPU; apenas páginas com scans ou alta densidade de imagens são enviadas para modelos neurais de layout e modelos visuais de linguagem GLM-OCR. Por exemplo, em um relatório financeiro de 150 páginas de texto e 60 páginas de scans, a maioria das páginas não requer GPU. Em termos de precisão, o Fire-PDF ajusta parâmetros distintos para diferentes tipos de conteúdo: tabelas recebem limites maiores de tokens e até 25 segundos para geração; fórmulas são mantidas em LaTeX; e layouts multicoluna são analisados por redes neurais para prever a ordem de leitura. O Fire-PDF já está ativo automaticamente para todos os usuários da Firecrawl, sem necessidade de configuração. (Fonte: BlockBeats)