SQLite AI এর WASTE ইনফারেন্স ইঞ্জিন ওপেন সোর্স করা হয়েছে, যাতে 64GB MacBook-এ Kimi K3 চালানো যায়

iconKuCoinFlash
শেয়ার
AI summary iconসারাংশ
SQLite AI তার WASTE ইনফারেন্স ইঞ্জিন ওপেন-সোর্স করেছে, যার ফলে 64GB ম্যাকবুক প্রো-তে পুরো Kimi K3 মডেলটি চালানো যাচ্ছে। 1TB-এ রূপান্তরিত এই মডেলটি প্রতি সেকেন্ডে 0.49–0.54 টোকেন গতিতে চলছে। WASTE SSD থেকে শুধুমাত্র প্রয়োজনীয় এক্সপার্টগুলি লোড করে, 27GB ব্যাকবোনটি মেমরিতে রাখে।ওজনগুলিকে 3-বিট এবং 4–8-বিট-এ পুনর্কোয়ান্টাইজ করা হয়েছে। এই AI + ক্রিপ্টো সংবাদটি মডেলের দক্ষতার ক্ষেত্রে অন-চেইন সংবাদের জন্য একটি এগিয়ে যাওয়ার পদক্ষেপ।
ME AI সংবাদ, অনুসরণ করে Beating মনিটরিং, এজ ডেটাবেস কোম্পানি SQLite AI ওপেন-সোর্স ইনফারেন্স ইঞ্জিন WASTE প্রকাশ করেছে। এটি কিমি K3-এর সমস্ত লেয়ার এবং এক্সপার্টগুলি একটি 64GB MacBook Pro-এ চালানোর অনুমতি দেয়। রূপান্তরিত মডেলটি প্রায় 1TB জায়গা নেয় এবং প্রতি সেকেন্ডে 0.49 থেকে 0.54টি Token উত্পাদন করে। WASTE প্রায় 27GB মডেল ব্যাকবোনকে মেমোরিতে রাখে। 80,000-এরও বেশি এক্সপার্টগুলি বিল্ট-ইন SSD-তে রাখা হয়। প্রতিটি Token উত্পাদনের সময়, শুধুমাত্র বর্তমানে কল করা এক্সপার্টগুলি হার্ডডিস্ক থেকে পড়া হয়। এই ভার্সনটিতে ডিসিলিশন, কাটিং বা এক্সপার্টগুলির মুছে ফেলা হয়নি। তবে এক্সপার্টওয়েটগুলিকে 3-বিটে পুনর্কোয়ান্টাইজড করা হয়েছে, এবং মডেল ব্যাকবোনটি 4-বিট এবং 8-বিট-এর সাথে ব্যবহার করা হয়। (উৎস: MLion)
দাবিত্যাগ: এই পৃষ্ঠার তথ্য তৃতীয় পক্ষের কাছ থেকে প্রাপ্ত হতে পারে এবং অগত্যা KuCoin এর মতামত বা মতামত প্রতিফলিত করে না। এই বিষয়বস্তু শুধুমাত্র সাধারণ তথ্যগত উদ্দেশ্যে প্রদান করা হয়, কোন ধরনের প্রতিনিধিত্ব বা ওয়ারেন্টি ছাড়াই, বা এটিকে আর্থিক বা বিনিয়োগ পরামর্শ হিসাবে বোঝানো হবে না। KuCoin কোনো ত্রুটি বা বাদ পড়ার জন্য বা এই তথ্য ব্যবহারের ফলে যে কোনো ফলাফলের জন্য দায়ী থাকবে না। ডিজিটাল সম্পদে বিনিয়োগ ঝুঁকিপূর্ণ হতে পারে। আপনার নিজের আর্থিক পরিস্থিতির উপর ভিত্তি করে একটি পণ্যের ঝুঁকি এবং আপনার ঝুঁকি সহনশীলতা সাবধানে মূল্যায়ন করুন। আরও তথ্যের জন্য, অনুগ্রহ করে আমাদের ব্যবহারের শর্তাবলী এবং ঝুঁকি প্রকাশ পড়ুন।