LlamaIndex Meluncurkan LiteParse v2.0 yang Ditulis Ulang dengan Rust, Peningkatan Kecepatan Hingga 100x

ME AI Berita, menurut pemantauan Beating, LlamaIndex mengumumkan bahwa perpustakaan parsing dokumen open-source LiteParse akan sepenuhnya ditulis ulang menggunakan Rust dan merilis versi 2.0. Parser inti yang direkonstruksi meningkatkan kecepatan hingga 100 kali lebih cepat saat memproses dokumen kecil, serta sekitar 3 kali lebih cepat saat memproses dokumen besar. Rekonstruksi ini bertujuan untuk menyediakan fondasi parsing tata letak lokal, berkecepatan tinggi, dan tanpa ketergantungan pada model besar bagi agen AI dan pipeline Retrieval-Augmented Generation (RAG). LiteParse 2.0 tetap mempertahankan desain lokal tanpa ketergantungan pada model besar, mengintegrasikan cabang PDFium yang disesuaikan secara mendalam untuk analisis tata letak spasial, serta menggabungkan pustaka tesseract-rs untuk mengimplementasikan fungsi Optical Character Recognition (OCR) secara lokal. Alat ini saat ini mendukung PDF serta dokumen Office seperti DOCX, XLSX, dan PPTX. Parser memproyeksikan teks secara spasial dua dimensi sesuai tata letak dokumen, menghasilkan teks terstruktur yang mempertahankan hubungan posisi dan tata letak, sehingga menyediakan konteks lokasi dan referensi berpresisi tinggi untuk model besar dengan konsumsi daya sangat rendah. Dalam hal integrasi dan distribusi ekosistem, LlamaIndex menyediakan dukungan paket asli untuk berbagai runtime utama. Pengembang dapat dengan cepat mengintegrasikannya ke dalam alur kerja melalui pip install liteparse di Python, npm i @llamaindex/liteparse di JavaScript, atau Cargo di Rust. Berkat pembangunan berbasis Rust di lapisan bawah, versi baru ini dapat dikompilasi ke format WebAssembly, membuka kemampuan berjalan lokal di browser dan node edge computing. Perlu dicatat bahwa karena keterbatasan lingkungan eksekusi, fungsi OCR di lingkungan WebAssembly tidak disertakan secara bawaan; pengembang perlu mengimplementasikan pemindaian file melalui callback eksternal (misalnya dengan memanggil tesseract.js). (Sumber: BlockBeats)