প্রতিটি এন্টারপ্রাইজ এআই টিম শেষপর্যন্ত একই বাধা দেখে: পিডিএফ থেকে কার্যকরী ডেটা বের করা। ডকুমেন্টগুলো অব্যবস্থিত, টেবিলগুলো অদ্ভুত, লেআউটগুলো অস্থির, এবং যেসব টুলস আসলে কাজ করে, সেগুলো সাধারণত এমনভাবে চার্জ করে যেন তারা জানে আপনি নিরাশ। Cohere মনে করে এটির কাছে একটি ভালো ডিল আছে।
গত বৃহস্পতিবার কোম্পানিটি পার্স ৫ প্রকাশ করে, যা একটি ২.৩ বিলিয়ন প্যারামিটার বিশিষ্ট ভিজুয়াল ভাষা মডেল যা পিডিএফ, স্লাইড এবং ছবিগুলিকে সংগঠিত Markdown-এ রূপান্তরিত করে। এর প্রচার হল যে এটি বাজারের সবচেয়ে সঠিক পার্সার। বরং এটি যথেষ্ট সঠিক এবং পরিমাণে চালানোর জন্য যথেষ্ট সস্তা।
পার্স 5 বাস্তবে কী করে
পার্স 5 (মডেল আইডি: parse-v5.0) এর আকার প্রায় 4.6 জিবি এবং এটির 8K কনটেক্সট উইন্ডো রয়েছে। এটি সেই ধরনের দলিলগুলি পরিচালনা করার জন্য তৈরি করা হয়েছে যা এআই পাইপলাইনকে অক্ষম করে দেয়: জটিল টেবিল, নেস্টেড তালিকা, ফর্ম, ক্যাপশনসহ ছবি, মাল্টি-কলাম লেআউট এবং পৃষ্ঠা সীমানা।
টেবিলগুলি HTML হিসাবে রপ্তানি করা হয়। ভিজুয়াল উপাদানগুলির সাথে বাউন্ডিং বক্স থাকে। রিডিং অর্ডার বজায় রাখা হয়, যা শোনার চেয়ে বেশি গুরুত্বপূর্ণ, কারণ প্যারাগ্রাফগুলিকে ভুল ক্রমে পেলে ডাউনস্ট্রিম রিট্রিভাল সিস্টেমটি চুপচাপভাবে ধ্বংস হয়ে যেতে পারে।
মডেলটি নয়টি প্রধান বাণিজ্যিক ভাষা সমর্থন করে, যা অর্থনীতি, বীমা, আইনি এবং বৈজ্ঞানিক ক্ষেত্রে বহুজাতিক বাস্তবায়নের জন্য একটি বক্স চেক করে। কোহেরও নিরাপদ বাস্তবায়নের বিকল্পগুলি প্রদান করছে, যা এই খাতের প্রতিষ্ঠানগুলির জন্য সংবেদনশীল দলিলগুলি তৃতীয় পক্ষের API-এর মাধ্যমে নিরাপত্তা ছাড়াই পাঠানোর প্রতি অসন্তুষ্টির প্রতি একটি নোট।
গুরুত্বপূর্ণ সংখ্যাগুলি
API মূল্য প্রতি 1,000 পৃষ্ঠায় $1.50 থেকে শুরু হয়। যারা গুরুতর পরিমাণে দলিল প্রক্রিয়াকরণ করে, তাদের জন্য Cohere-এর মডেল ভল্ট ব্যবহারের উপর ভিত্তি করে 23% থেকে 61% পর্যন্ত স্তরবদ্ধ ছাড় প্রদান করে।
এটিকে প্রায়োগিক শব্দে বলা যায়: কোহের অনুমান করে যে প্রতি মাসে 13 মিলিয়ন পৃষ্ঠার কাজপ্রবাহটি সরাসরি API কলের পরিবর্তে মডেল ভল্ট ব্যবহার করে প্রায় $144K সাশ্রয় করতে পারে।
প্রতিনিধিত্বমূলক হার্ডওয়্যারে থ্রুপুট ৪.৫ পৃষ্ঠা প্রতি সেকেন্ডে পৌঁছায়। এই গতি এটিকে কিছু ওপেন-সোর্স বিকল্পের চেয়ে এগিয়ে রাখে।
কোহেরের পার্সবেঞ্চ বেঞ্চমার্কে, পার্স 5 এর গড় স্কোর 79.2। এর টেবিল পার্সিং 87.0 পৌঁছায়, এবং বিশ্বস্ততা, অর্থাৎ আউটপুট কতটা সঠিকভাবে সোর্স ডকুমেন্টকে প্রতিফলিত করে, সেটি 86.6 এ পৌঁছায়।
প্রেক্ষাপটে, মিস্ট্রাল ওসিআর 4 একই বেঞ্চমার্কে 74.5 স্কোর করে। লামা পার্স কস্ট ইফেক্টিভ এর স্কোর 78.3। তবে পার্স 5 উভয়কেই ছাড়িয়ে যায়, যদিও কোহের স্পষ্টভাবে উল্লেখ করেছে যে বড় এবং ব্যয়বহুল মডেলগুলি এখনও মূল সঠিকতায় এটিকে ছাড়িয়ে যায়।
এটি এন্টারপ্রাইজ এআই স্ট্যাকের কোথায় বসে
5টি প্লাগইনকে Cohere-এর বিদ্যমান বাস্তুতন্ত্রে পার্স করুন এবং Microsoft Foundry এবং AWS SageMaker-এর সাথে ইন্টিগ্রেট করুন। এই ইন্টারঅপারেবিলিটি গুরুত্বপূর্ণ, কারণ বেশিরভাগ উদ্যোগ তাদের AI স্ট্যাক শূন্য থেকে তৈরি করছে না। তারা নতুন টুলগুলিকে বিদ্যমান ক্লাউড ইনফ্রাস্ট্রাকচারের সাথে যুক্ত করছে।
মডেলটিকে এজেন্টিক রিট্রিভাল পাইপলাইনের জন্যও অপ্টিমাইজ করা হয়েছে, যেখানে এআই এজেন্টগুলি স্বয়ংক্রিয়ভাবে ডকুমেন্ট রিপোজিটরির মধ্যে অনুসন্ধান করে কাজ সম্পন্ন করে। এই ওয়ার্কফ্লোগুলি সাধারণত বিশাল পরিমাণে ডকুমেন্ট প্রসেস করে, যার ফলে প্রতি পৃষ্ঠার খরচ একটি সমাধানযোগ্য চলক হয়ে ওঠে, যা একটি প্রকল্পকে আর্থিকভাবে সম্ভব করে তোলে বা শুরুর সাথেই ব্যর্থ করে দেয়।