LlamaIndex ने Rust में पुनः लिखा गया LiteParse v2.0 लॉन्च किया, जिससे गति में 100 गुना की वृद्धि हुई

ME AI संदेश, एनालिसिस बीटिंग द्वारा मॉनिटर किए जाने पर, LlamaIndex ने अपनी ओपन-सोर्स दस्तावेज़ पार्सिंग लाइब्रेरी LiteParse को पूरी तरह से Rust में पुनर्लिखित करने और 2.0 संस्करण जारी करने की घोषणा की है। पुनर्निर्मित मूल पार्सर छोटे दस्तावेज़ों को संसाधित करने में 100 गुना तेज़ है और बड़े दस्तावेज़ों के लिए लगभग 3 गुना तेज़ है। इस पुनर्निर्माण का उद्देश्य AI एजेंट और रिट्रीवल-एन्हांस्ड जनरेशन (RAG) पाइपलाइन के लिए स्थानीय रूप से चलने वाला, अत्यधिक तेज़ और बड़े मॉडल को कॉल किए बिना स्थानीय लेआउट पार्सिंग का आधार प्रदान करना है। LiteParse 2.0 बड़े मॉडल के बिना स्थानीय रूप से चलने के डिज़ाइन को बनाए रखता है, PDFium के गहन कस्टमाइज़्ड ब्रांच को स्थानीय स्थानिक लेआउट विश्लेषण के लिए एकीकृत करता है, और tesseract-rs पुस्तकालय के साथ मिलकर स्थानीय रूप से ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) कार्यक्षमता प्रदान करता है। यह टूल वर्तमान में PDF और DOCX, XLSX, और PPTX सहित Office दस्तावेज़ों का समर्थन करता है। पार्सर पाठ को दस्तावेज़ के लेआउट के अनुसार 2D स्थानिक प्रक्षेपण में प्रस्तुत करता है, और स्थिति और लेआउट के सापेक्ष संबंधों को संरक्षित करते हुए संरचित पाठ आउटपुट करता है, जिससे बड़े मॉडल को अत्यधिक कम ऊर्जा खपत के साथ उच्च-विश्वसनीय स्थानीयकरण और संदर्भ प्रदान होता है। पारिस्थितिकीय समाकलन और वितरण में, LlamaIndex मुख्य रनटाइम के लिए मूल पैकेज समर्थन प्रदान करता है। विकासकर्ता Python के pip install liteparse, JavaScript के npm i @llamaindex/liteparse, और Rust के Cargo रिपॉज़िटरी के माध्यम से विकास प्रक्रिया में तुरंत समाहित हो सकते हैं। मूल में Rust का उपयोग करने के कारण, नया संस्करण WebAssembly प्रारूप में संकलित होकर ब्राउज़र-आधारित और एज-कंप्यूटिंग नोड्स पर स्थानीय संचलन की क्षमता प्रदान करता है। ध्यान देने योग्य है कि WebAssembly परिवेश में, OCR कार्यक्षमता समाहित नहीं है, क्योंकि संचलन परिवेश सीमित है; विकासकर्ता external callback injection (जैसे tesseract.js को कॉल करके) के माध्यम से फ़ाइल स्कैन करने के लिए OCR को समाहित कर सकते हैं। (स्रोत: BlockBeats)