Beating মনিটরিং অনুযায়ী, এজ ডাটাবেস কোম্পানি SQLite AI ওপেন-সোর্স ইনফারেন্স ইঞ্জিন WASTE প্রকাশ করেছে। এটি কিমি K3-এর সমস্ত লেয়ার এবং এক্সপার্টগুলিকে 64GB MacBook Pro-এ চালানোর অনুমতি দেয়। রূপান্তরিত মডেলটি প্রায় 1TB জায়গা নেয় এবং প্রতি সেকেন্ডে 0.49 থেকে 0.54 টোকেন উত্পাদন করে। WASTE প্রায় 27GB মডেল ব্যাকবোনকে মেমরিতে রাখে। 80,000-এরও বেশি এক্সপার্টগুলি বিল্ট-ইন SSD-এ রাখা হয়। প্রতিটি টোকেন জেনারেট করার সময়, শুধুমাত্র বর্তমানে কল করা এক্সপার্টগুলিকেই হার্ডডিস্ক থেকে পড়া হয়। এই ভার্সনটিতে ডিসিলিশন, কাটিং বা এক্সপার্টগুলির মুছে ফেলা হয়নি। তবে এক্সপার্টওয়েটসগুলিকে 3-বিটে পুনর্কোয়ান্টাইজড করা হয়েছে, এবং মডেল ব্যাকবোনটি 4-বিট এবং 8-বিটের সঙ্গে ব্যবহার করা হয়।
SQLite AI 64GB MacBook-এ Kimi K3-এর জন্য ইনফারেন্স ইঞ্জিন WASTE ওপেন সোর্স করেছে
MarsBitশেয়ার
সারাংশ
SQLite AI তার ইনফারেন্স ইঞ্জিন WASTE ওপেন-সোর্স করেছে, যার মাধ্যমে 64GB ম্যাকবুক প্রো-তে পুরো Kimi K3 মডেল চালানো যায়। এই অন-চেইন সংবাদটি AI + ক্রিপ্টো সংবাদে একটি বড় পদক্ষেপ হিসেবে বিবেচিত, কারণ মডেলটি প্রতি সেকেন্ডে 0.49 থেকে 0.54 টোকেন প্রসেস করে। 1TB মডেলটি 27GB ব্যাকবোনকে মেমোরিতে রাখে এবং প্রয়োজনে SSD থেকে এক্সপার্টগুলি লোড করে।ওজনগুলিকে 3-বিটে রিকোয়ান্টাইজ করা হয়েছে, যার ব্যাকবোন 4-বিট এবং 8-বিট ব্যবহার করে।
উৎস:আসল দেখান
দাবিত্যাগ: এই পৃষ্ঠার তথ্য তৃতীয় পক্ষের কাছ থেকে প্রাপ্ত হতে পারে এবং অগত্যা KuCoin এর মতামত বা মতামত প্রতিফলিত করে না। এই বিষয়বস্তু শুধুমাত্র সাধারণ তথ্যগত উদ্দেশ্যে প্রদান করা হয়, কোন ধরনের প্রতিনিধিত্ব বা ওয়ারেন্টি ছাড়াই, বা এটিকে আর্থিক বা বিনিয়োগ পরামর্শ হিসাবে বোঝানো হবে না। KuCoin কোনো ত্রুটি বা বাদ পড়ার জন্য বা এই তথ্য ব্যবহারের ফলে যে কোনো ফলাফলের জন্য দায়ী থাকবে না।
ডিজিটাল সম্পদে বিনিয়োগ ঝুঁকিপূর্ণ হতে পারে। আপনার নিজের আর্থিক পরিস্থিতির উপর ভিত্তি করে একটি পণ্যের ঝুঁকি এবং আপনার ঝুঁকি সহনশীলতা সাবধানে মূল্যায়ন করুন। আরও তথ্যের জন্য, অনুগ্রহ করে আমাদের ব্যবহারের শর্তাবলী এবং ঝুঁকি প্রকাশ পড়ুন।