Firecrawl ने Rust में PDF पार्सर को पुनः लिखा, गति में 5.7x तक की वृद्धि

ME समाचार के अनुसार, 15 अप्रैल (UTC+8) को, 1M AI News के अनुसार, वेबसाइट डेटा निकालने के उपकरण Firecrawl ने Fire-PDF जारी किया है, जो Rust में पुनः लिखा गया PDF पार्सिंग इंजन है, जो PDF को संरचित Markdown में बदलने की गति पिछली पीढ़ी की तुलना में 3.5 से 5.7 गुना बढ़ा देता है, और प्रति पृष्ठ औसत संसाधन समय 400 मिलीसेकंड से कम है। इस गति में वृद्धि का मुख्य कारण अनावश्यक GPU कॉल को कम करना है। Firecrawl ने Rust लाइब्रेरी pdf-inspector को भी ओपन सोर्स किया है, जो प्रति PDF पृष्ठ को मिलीसेकंड में वर्गीकृत कर सकती है: शुद्ध पाठ पृष्ठों को सीधे मूल रूप से निकाला जाता है और GPU को छोड़ दिया जाता है; केवल स्कैन किए गए या चित्रों से भरे पृष्ठों को ही न्यूरल नेटवर्क लेआउट मॉडल और GLM-OCR विजुअल-लैंग्वेज मॉडल पर प्रसंस्करण के लिए भेजा जाता है। 150 पृष्ठ पाठ और 60 पृष्ठ स्कैन किए गए वाली एक वार्षिक रिपोर्ट के उदाहरण के साथ, अधिकांश पृष्ठों के लिए GPU की आवश्यकता नहीं होती। सटीकता के मामले में, Fire-PDF अलग-अलग सामग्री प्रकारों के लिए अलग-अलग पैरामीटर सेट करता है: तालिकाओं को उच्चतर token सीमा और 25 सेकंड तक का समय मिलता है, समीकरण LaTeX में संरक्षित रहते हैं, और बहु-स्तंभीय लेआउट को न्यूरल नेटवर्क के माध्यम से पढ़ने का क्रम पूर्वानुमानित किया जाता है। Fire-PDF सभी Firecrawl उपयोगकर्ताओं के लिए स्वचालित रूप से सक्रिय हो गया है, कोई कॉन्फ़िगरेशन की आवश्यकता नहीं है। (स्रोत: BlockBeats)