LlamaIndex、Rustで再構築されたLiteParse v2.0をリリース。速度が最大100倍に向上

ME AI ニュース、動察 Beating の監視によると、LlamaIndex は、ドキュメント解析ライブラリ LiteParse を完全に Rust で再構築し、バージョン 2.0 をリリースすると発表しました。再構築されたコアパーサーは、小規模ドキュメントの処理速度が最大 100 倍向上し、大規模ドキュメントでも約 3 倍の高速化を実現しました。この再構築の目的は、AIエージェントと検索強化生成（RAG）パイプライン向けに、ローカルで実行可能で高速かつ大規模モデルを呼び出さない空間レイアウト解析の基盤を提供することです。LiteParse 2.0 は、大規模モデルに依存しないローカル実行設計を維持し、PDFium の深くカスタマイズされたブランチを統合して空間レイアウト分析を実行し、tesseract-rs ライブラリを組み合わせてローカルで光学文字認識（OCR）機能を実装しています。現在、このツールは PDF および DOCX、XLSX、PPTX を含む Office ドキュメントをサポートしています。パーサーはテキストをドキュメントのレイアウトに従って二次元空間に投影し、位置とレイアウトの相対関係を保持した構造化テキストを出力し、非常に低い電力消費で大規模モデルに高忠実度の位置情報と前文の参照を提供します。エコシステムへの統合と配布において、LlamaIndex は主要なランタイム向けのネイティブパッケージを提供しています。開発者は、Python の pip install liteparse、JavaScript の npm i @llamaindex/liteparse、Rust の Cargo リポジトリを通じて開発フローに迅速に統合できます。底层に Rust を採用したことで、新バージョンは WebAssembly 形式にコンパイルされ、ブラウザ端末およびエッジコンピューティングノードでのローカル実行が可能になりました。ただし、実行環境の制約により、WebAssembly 環境での OCR 機能は組み込まれていません。開発者は外部コールバック（例：tesseract.js の呼び出し）を介してファイルスキャンを実現する必要があります。（出典：BlockBeats）