DeepSeek-V4 এখন Unsloth GGUF-এর মাধ্যমে সম্পূর্ণ স্থানীয়ভাবে চালানো যায় এখানে কোয়ান্টাইজেশন ল্যাডারটি আসলে কী দেখায়: ⁠1-বিট: 92GB মোট মেমরি 2-বিট: 102GB ⁠3-বিট: 110-135GB — ইউনিফাইড মেমরি সহ একটি Mac-এ চলে 4-বিট প্রায় অক্ষত: 162GB ⁠Q8 অক্ষত: 169GB Flash ভার্সনটি সম্পর্কে কয়েকটি বিষয় বুঝতে গুরুত্বপূর্ণ: •⁠ ⁠মোট 284B প্যারামিটার, কিন্তু যেকোনো সময় শুধুমাত্র 13B সক্রিয় — MoE আর্কিটেকচারের কারণে আপনি পুরো মডেলটি চালাচ্ছেন না, শুধুমাত্র প্রাসঙ্গিক এক্সপার্টগুলি •⁠ ⁠অক্ষত 8-বিট GGUF 162GB, কিন্তু 3-বিটে এটি 103GB-এ নেমে আসে, কোনো অর্থপূর্ণ কোয়ালিটি হানি ছাড়াই এটি Unsloth Studio বা llama.cpp-এর মাধ্যমে চালান। গাইড এবং GGUF ফাইলগুলি HuggingFace-এ এখনই উপলব্ধ। গত ত্রৈমাসিকে পেয়াওয়ালড 1T প্যারামিটারের ফ্রন্টিয়ার মডেলটি এখন কনজিউমার হার্ডওয়্যারে চলছে। স্থানীয় DeepSeek-এর হোস্টেড মিড-টিয়ার API-এর চেয়েও বেশি পারফরম্যান্স দেখানোর আগে আরও কতক্ষণ?