Firecrawl tái viết bộ phân tích PDF bằng Rust, tăng tốc độ lên tới 5,7 lần

Tin tức từ ME News, ngày 15 tháng 4 (UTC+8), theo giám sát của 1M AI News, công cụ trích xuất dữ liệu web Firecrawl đã ra mắt Fire-PDF — một động cơ phân tích PDF được viết lại bằng Rust, tăng tốc độ chuyển đổi PDF sang Markdown có cấu trúc lên 3,5 đến 5,7 lần so với thế hệ trước, với thời gian xử lý trung bình dưới 400 miligiây mỗi trang. Sự tăng tốc này chủ yếu đến từ việc giảm các lệnh gọi GPU không cần thiết. Firecrawl đồng thời đã mở nguồn thư viện Rust pdf-inspector, cho phép phân loại từng trang PDF trong vài miligiây: các trang chỉ chứa văn bản thuần được trích xuất trực tiếp mà không cần GPU; chỉ những trang có nội dung quét hoặc hình ảnh dày đặc mới được đưa vào mô hình phân tích bố cục thần kinh và mô hình ngôn ngữ thị giác GLM-OCR. Ví dụ với một báo cáo tài chính gồm 150 trang văn bản và 60 trang quét, phần lớn các trang không cần sử dụng GPU. Về độ chính xác, Fire-PDF thiết lập tham số riêng cho từng loại nội dung: bảng biểu được cấp hạn token cao hơn và thời gian tạo tối đa 25 giây; công thức được giữ nguyên dưới dạng LaTeX; bố cục nhiều cột được dự đoán thứ tự đọc thông qua mô hình thần kinh. Fire-PDF đã tự động áp dụng cho tất cả người dùng Firecrawl mà không cần cấu hình thêm. (Nguồn: BlockBeats)