LlamaIndex, LiteParse v2.0'ı Rust'ta yeniden yazdı ve hızda 100 kat artış sağladı

ME AI Haberi, Beating İzleme sistemi tarafından tespit edildiğine göre, LlamaIndex, belge çözümleme kütüphanesi LiteParse’i tamamen Rust ile yeniden yazarak 2.0 sürümünü yayınladı. Yeniden yapılandırılmış temel çözümleyici, küçük belgeleri işleme hızında %100’e varan artış sağlarken, büyük belgeler için yaklaşık 3 kat hızlanma sağlıyor. Bu yeniden yapılandırma, AI ajanları ve arama ile güçlendirilmiş üretim (RAG) boru hatları için yerelde çalıştırılabilir, son derece hızlı ve büyük modellere ihtiyaç duymayan bir yüzey analizi altyapısı sağlamayı amaçlıyor. LiteParse 2.0, büyük modellere bağımlı olmayan yerel çalışma tasarımını koruyor, mekansal yapı analizi için PDFium’un derinlemesine özelleştirilmiş bir dalını entegre ediyor ve tesseract-rs kütüphanesini kullanarak yerel olarak OCR (optik karakter tanıma) işlevini sağlıyor. Araç şu anda PDF ve DOCX, XLSX ile PPTX dahil Office belgelerini destekliyor. Çözümleyici, metni belge düzenine göre iki boyutlu bir mekansal projeksiyon olarak çıkarıyor ve konum ile düzen arasındaki ilişkileri koruyan yapılandırılmış metin üretiyor; bu da büyük modellere çok düşük enerji tüketimiyle yüksek doğrulukta konumlandırma ve bağlam referansı sunuyor. Ekosistem entegrasyonu ve dağıtım açısından, LlamaIndex tüm ana akım çalışma ortamları için yerel paket desteği sunuyor. Geliştiriciler, Python için pip install liteparse, JavaScript için npm i @llamaindex/liteparse ve Rust için Cargo deposu aracılığıyla geliştirme süreçlerine hızlıca entegre olabilir. Alt yapıda Rust kullanıldığından, yeni sürüm WebAssembly formatına derlenerek tarayıcı ve kenar hesaplama düğümlerinde yerel çalışma yeteneğini sağlıyor. Ancak, çalışma ortamı sınırlamaları nedeniyle WebAssembly ortamında OCR işlevi yerleşik değildir; geliştiriciler, dosya taraması için dış geri çağırma (örneğin tesseract.js çağrısı) aracılığıyla bu işlevi uygulamalıdır. (Kaynak: BlockBeats)