LlamaIndex ay naglunsad ng LiteParse v2.0 na muli nang isinulat sa Rust, nagdudulot ng pagtaas ng bilis hanggang 100x

ME AI mensahe, ayon sa pagmamasid ng Beating, inihayag ng LlamaIndex na gagawing bukas ang source code ng library para sa pagpaparas ng dokumento na LiteParse gamit ang Rust, at ipapalabas ang bersyon 2.0. Ang mga pangunahing parser na inimbento ay nakapagpabilis ng hanggang 100 beses sa pagtratato ng maliit na dokumento, at halos 3 beses sa pagtratato ng malalaking dokumento. Ang pagrerepaso ay naglalayong magbigay ng lokal na, mabilis na, at hindi nangangailangan ng pagtawag sa malalaking modelo na batayan para sa pagpaparas ng layout sa mga AI agent at RAG pipeline. Ang LiteParse 2.0 ay nananatiling nakabatay sa lokal na pagpapatakbo nang walang kailangan ng malalaking modelo, at nagtatampok ng深度定制分支 ng PDFium para sa analisis ng layout, kasama ang tesseract-rs library para sa lokal na optical character recognition (OCR). Ang kasalukuyang bersyon ay sumusuporta sa PDF at mga Office document tulad ng DOCX, XLSX, at PPTX. Ang parser ay nagpapakita ng teksto ayon sa layout ng dokumento sa 2D na espasyo, at naglalabas ng structured text na nagpapanatili ng posisyon at relasyon sa layout, upang magbigay ng mataas na katumpakan sa lokasyon at konteksto para sa mga malalaking modelo nang mababang enerhiya. Sa aspeto ng integrasyon at distribusyon, binibigyan ng LlamaIndex ang native package support para sa pangunahing runtime. Ang mga developer ay maaaring madaling i-integrate sa kanilang proseso sa pamamagitan ng pip install liteparse sa Python, npm i @llamaindex/liteparse sa JavaScript, at ang Cargo repository sa Rust. Dahil sa paggamit ng Rust bilang base, ang bagong bersyon ay nakakapag-compile sa WebAssembly format, na nagbubukas ng lokal na pagpapatakbo sa browser at edge computing nodes. Dapat tandaan na dahil sa limitasyon ng environment, ang OCR functionality ay hindi nakapaloob sa WebAssembly environment; kailangan ng mga developer na i-inject ang external callback (tulad ng pagtawag sa tesseract.js) upang maisagawa ang file scanning. (Pinagkunan: BlockBeats)