Laya-MLX মডেলটি 1GB স্থানীয় মেমোরিতে চালানো যায়, যা দ্রুত সিদ্ধান্ত গ্রহণ প্রদান করে

icon MarsBit
শেয়ার
AI summary iconসারাংশ
একটি নতুন প্রকল্পের ঘোষণায় জানা যায় যে Laya-MLX মডেলটি এখন 1GB স্থানীয় মেমোরিতে চলছে, যা Apple-এর MLX ফ্রেমওয়ার্কের জন্য অপ্টিমাইজড। বহুভাষিক সংস্করণটি M3 Max-এ 395টি প্রশ্ন প্রতি সেকেন্ডে প্রসেস করে, যার ল্যাটেন্সি খুব কম। এই অন-চেইন সংবাদ আপডেটটি Apple Silicon Mac-এর জন্য স্থানীয় ডিপ্লয়মেন্ট সমর্থনকে বোঝায়। ওপেন-সোর্স প্রকল্পটি GitHub-এ উপলব্ধ।

না, জেভ শুধু এক সপ্তাহ ধরে জনপ্রিয় হয়েছে, আর 1 জিবির কম লোকাল ভার্সনটাও তৈরি করে ফেললেন???

একজন ডেভেলপার ওপেন-সোর্স বিকল্প Laya-এর নেটিভ ভার্সনটি Apple MLX-এ স্থানান্তর করেছেন, যার ফলে Laya-MLX তৈরি হয়েছে—

421M প্যারামিটার সংস্করণ, সর্বোচ্চ MLX মেমোরি ব্যবহার মাত্র 943.6MiB।

322M-এর মাল্টিলিঙ্গুয়াল ভার্সনে পরিবর্তন করলে এটি সরাসরি 687.6MiB-এ নেমে যায়।

ডিসিশন মডেল

ক্লাউড API ব্যবহার করতে হবে না, PyTorch এবং Transformers রানটাইমের প্রয়োজন হবে না, মডেলটি Mac-এ ডাউনলোড করলেই সরাসরি চালানো যায়।

এবং ছোট হলেও গতি খুব তীব্র।

M3 Max-এ, Laya-MLX-এর একটি সংক্ষিপ্ত সিদ্ধান্ত P50-এর সর্বোচ্চ সময় মাত্র 7.39 মিলিসেকেন্ড; 421M সংস্করণেও মাত্র 13.42 মিলিসেকেন্ড।

যদি একসাথে ৫০টি প্রশ্ন পাঠানো হয়, তবে ৩২২M মাল্টিলিঙ্গুয়াল ভার্সনের থ্রুপুট ৩৯৫ প্রশ্ন/সেকেন্ড পর্যন্ত পৌঁছাতে পারে।

ওপেন সোর্স ভার্সন জেভ

জেভ এই দুই দিনে আপনারা সবাই পরিচিত হয়ে গেছেন।

এটি সাধারণ LLM-এর সাথে প্রধান পার্থক্য হল এটি সবচেয়ে সময়সাপেক্ষ টেক্সট জেনারেশনকে সম্পূর্ণ বাদ দিয়ে দেয়, কথোপকথন করে না, কোড লিখে না, নিবন্ধও স্পর্শ করে না... শুধুমাত্র একটি কাজেই মনোযোগ দেয়: সিদ্ধান্ত নেওয়া।

(বার্ট: হুম? এই কাজের বিষয়টি আমি কোথাও শুনেছি মনে হচ্ছে?)

টোকেন প্রতিটি তৈরি করার ধাপটি বাদ দেওয়ায়, উপসংহার গতি প্রচলিত LLM-এর সাথে পার্থক্য তৈরি করে।

এই সরল এবং প্রত্যক্ষ পদ্ধতির মাধ্যমে, জেভ প্রকাশের পর দ্রুত বাইরে ছড়িয়ে পড়ে।

ডিসিশন মডেল

এরপরে ওপেন সোর্স বিকল্প এসে গেল।

লায়া, একটি বহুভাষিক, নন-অটোরিগ্রেসিভ সিস্টেম 1 ডিসিশন মডেল।

এটি Jev-এর মতো চিন্তাভাবনা, টেক্সট জেনারেট করার জন্য ক্যালকুলেশন শক্তি ব্যয় না করে সরাসরি স্ট্রাকচারড সমস্যার জন্য ডিসিশন আউটপুট দেয়, যা GitHub-এ 10.4k Star অর্জন করেছে।

ডিসিশন মডেল

এটি বর্তমানে মূলত তিন ধরনের কাজ করে:

চয়েস, কিছু বিকল্পের মধ্যে একটি বাছাই করুন; স্কোর, প্রদত্ত মানদণ্ড অনুযায়ী স্কোর দিন; নৌল, একটি ঘটনাকে সত্য হওয়ার সম্ভাবনা নির্ণয় করুন।

একটি স্টেট এবং যাচাই করার প্রশ্ন একসাথে ঢুকিয়ে একবার ফরওয়ার্ড করে সরাসরি ফলাফল পান।

লায়ার বর্তমানে মূলত তিনটি চেকপয়েন্ট রয়েছে।

ইংরেজি সংস্করণ ModernBERT-large-এর উপর ভিত্তি করে, 421M প্যারামিটার;

এটি mmBERT-base-এর উপর ভিত্তি করে তৈরি, যার মাত্র 322M প্যারামিটার রয়েছে এবং 100-এর বেশি ভাষা সমর্থন করে;

এছাড়াও typed-decisions ওয়ার্কফ্লোর জন্য একটি 421M সংস্করণ রয়েছে।

ডিসিশন মডেল

মডেলটি শুধুমাত্র তিন থেকে চার কোটি প্যারামিটার নিয়ে গঠিত, এবং গতি ইতিমধ্যেই পর্যাপ্ত দ্রুত।

টেসলা টি৪-এ মূল লায়া একটি প্রশ্নের জন্য প্রায় ৩৩ মিলিসেকেন্ড সময় নেয়; ব্যাচ প্রসেসিংয়ের ক্ষেত্রে গড়ে ৭.২ মিলিসেকেন্ড/প্রশ্ন পৌঁছানো যায়, একটি কার্ডে সর্বোচ্চ প্রতি সেকেন্ডে শতাধিক প্রশ্নের থ্রুপুট অর্জন করা যায়।

প্রকল্পটি তৃতীয় পক্ষের Jev P50 এর ল্যাটেন্সি 236~276 মিলিসেকেন্ড বলে উল্লেখ করে, যখন Laya নিজে একটি প্রশ্নের জন্য 32.8 মিলিসেকেন্ড পরিমাপ করেছে, যা প্রায় 7~8 গুণ দ্রুত।

yped-decisions-এর 2000টি ডিসিশন টেস্টে, বিশেষভাবে ফাইন-টিউন করা Laya ভার্সনের সঠিকতা 76.6% (আগে Jev-এর প্রকাশিত ফলাফল ছিল 72.7%)।

ডিসিশন মডেল

ওপেন সোর্স ভার্সন পাওয়া গেছে, এবং এর গতিও ধীর নয়।

এরপর কেউ কেউ ভাবতে শুরু করল যে, আরও ছোট করা যায় কি?

তাই Laya-MLX এসেছে।

স্থানীয়ভাবে 1GB চালানো যায়

Laya-MLX হল Laya-এর ইনফারেন্স স্ট্যাক।

ডেভেলপাররা এখন মূল Laya স্বয়ং ডিপ্লয় করতে পারেন, তবে মূলত PyTorch এবং Transformers এই পরিবেশে চালানো হয়।

মিজোরেওয়েওয়ে এপল এমএলএক্স ফ্রেমওয়ার্কে লায়া সম্পূর্ণ নিউরাল নেটওয়ার্ক আর্কিটেকচার পুনরায় বাস্তবায়ন করেছেন, যাতে মডেলটি এপল সিলিকনে ন্যাটিভভাবে চলতে পারে।

PyTorch এবং Transformers রানটাইম উভয়ই সরিয়ে ফেলা যাবে, এবং ক্লাউড API-এর অনুরোধও প্রয়োজন হবে না।

এছাড়াও, রিজনিং স্ট্যাক পরিবর্তনের পরেও পুরনো ফলাফলগুলি মেলে যাওয়া দরকার।

Laya-MLX তিনটি চেকপয়েন্টকে যথাক্রমে FP32 এবং FP16-এ যাচাই করেছে, এবং 63টি যাচাই প্রশ্নের সমস্ত উত্তর মূল Laya-এর পছন্দের উত্তরের সাথে মিলে গেছে।

তিনটি মডেল, দুটি প্রেসিশন, মোট 378/378 তুলনা পাস করেছে, কোনো ইনফারেন্স রেজাল্ট ড্রিফট দেখা যায়নি।

টেস্টিং মেশিনটি একটি M3 Max, 40-কোর GPU, 128GB ইউনিফাইড মেমোরি।

ডিসিশন মডেল

421M ইংরেজি ভার্সন একটি ছোট প্রশ্ন প্রক্রিয়াকরণের সময় শীর্ষ MLX আবণ্টন 943.6 MiB ছিল; 322M মাল্টিলিঙ্গুয়াল ভার্সন আরও কমে দাঁড়ায় 687.6 MiB।

কিন্তু গতি কমেনি।

একই M3 Max-এ, 421M সংস্করণ একটি সংক্ষিপ্ত প্রশ্ন প্রক্রিয়া করে P50 ল্যাটেন্সি 13.42ms; 322M মাল্টিলিঙ্গুয়াল সংস্করণ 7.39ms।

P95 যথাক্রমে মাত্র 13.92 মিলিসেকেন্ড এবং 7.79 মিলিসেকেন্ড।

যদি একসাথে 50টি প্রশ্ন পাঠানো হয়, তবে বহুভাষিক সংস্করণের থ্রুপুট সরাসরি 395 প্রশ্ন/সেকেন্ড পর্যন্ত বৃদ্ধি পেতে পারে।

ডিসিশন মডেল

এবং এই সময়গুলি মডেলের কোর অপারেটরগুলির প্রকৃত ল্যাটেন্সি নয়।

প্রকল্পের টাইমিং পরিসরে প্রম্পট প্রস্তুতি, টোকেনাইজেশন, টেনসর গঠন, সিঙ্ক্রোনাইজড ইনফারেন্স, ক্যালিব্রেশন এবং চূড়ান্ত ফলাফল ফরম্যাটিং অন্তর্ভুক্ত রয়েছে, শুধুমাত্র মডেল লোডিং সময়কে বাদ দিয়ে।

অর্থাৎ, 7.39ms হল একটি সংক্ষিপ্ত সিদ্ধান্তের প্রবেশ থেকে ফলাফল প্রাপ্তির প্রান্ত-থেকে-প্রান্ত লেটেন্সি।

Laya-MLX এর স্নেক গেমের সিদ্ধান্ত গ্রহণের গতি প্রতি সেকেন্ডে 60 বার হতে পারে।

এখানে প্রতিটি পদক্ষেপে বর্তমান অবস্থার ভিত্তিতে পুনরায় সিদ্ধান্ত নেওয়ার জন্য Laya কে বারবার কল করা হয়, এবং বাহিরে cycle safety layer দ্বারা বিপজ্জনক ক্রিয়াকলাপগুলি সংশোধন করা হয়।

প্রকল্পটি পরীক্ষিত কম্পাইল এবং prefix পুনঃব্যবহার অপ্টিমাইজেশন খোলার পর, একই M3 Max মেশিনে 2400 ধাপ ক্রমাগত চালানো—

75.40 মুভস/সেকেন্ড, 0 মৃত্যু।

প্রক্রিয়াটির সময়, সুরক্ষা স্তরটি দুইবার হস্তক্ষেপ করেছে এবং কেবল কিছু সীমিত পরিস্থিতিতে কার্য সংশোধন করা হয়েছে।

তিন লাইন রান

যারা আগ্রহী, তারা সরাসরি Apple Silicon Mac-এ স্থানীয়ভাবে ডিপ্লয় করতে পারেন।

বর্তমানে প্রকল্পটি Python 3.11+ এবং macOS 14+ প্রয়োজন।

ডিপেন্ডেন্সি ইনস্টল করার পর, সরাসরি লাইব্রেরি ইম্পোর্ট করে ব্যবহার করুন এবং ইতিমধ্যে রূপান্তরিত checkpoint লোড করুন:

pip install laya-mlximport laya_mlx as layaagent = laya.load(“aac6fef/laya-mlx”)

এবার শুধু state এবং প্রশ্নটি agent.predict() এর কাছে পাঠিয়ে দিন।

প্রথমবার চালানোর সময় অটোমেটিকভাবে চেকপয়েন্ট ডাউনলোড হবে, তারপরের ইনফারেন্সগুলি সম্পূর্ণরূপে স্থানীয়ভাবে রাখা যাবে।

ডিসিশন মডেল

অবশ্যই, ছোট হওয়ারও একটা মূল্য আছে।

421M ইংরেজি সংস্করণের কনটেক্সটে মাত্র 512 টোকেন রয়েছে;

322M মাল্টিলিঙ্গুয়াল এবং 421M টাইপড-ডিসিশনস ভার্সন, শুধুমাত্র 1024 টোকেন।

1k কনটেক্সট একসাথে স্টেট, নির্দেশাবলী এবং বিকল্পগুলি ধারণ করতে হবে, তাই এটি ছোট ইনপুট, উচ্চ ফ্রিকোয়েন্সি কল এবং স্ট্রাকচারড আউটপুট সহ ডিসিশন-বেসড টাস্কের জন্য বেশি উপযুক্ত।

অসমর্থতা বাস্তবিকভাবে বিদ্যমান, কিন্তু ওপেন-সোর্স বিশেষজ্ঞদের রাতের বেলা অনুসরণ করার পথ বন্ধ করতে পারে না, হ্যাঁ, আমরা ইতিমধ্যেই ড্রিমের পরবর্তী সংস্করণে কাজ করছি!

জেভ: আমি শুধু এক সপ্তাহ ধরে জনপ্রিয় হয়েছি...

প্রকল্পের ঠিকানা: https://github.com/mizorewww/laya-mlx

এই লেখাটি ওয়েইচ্যান গ্রুপ "Quantum Bit" থেকে এসেছে, লেখক: উয়েন লে

দাবিত্যাগ: এই পৃষ্ঠার তথ্য তৃতীয় পক্ষের কাছ থেকে প্রাপ্ত হতে পারে এবং অগত্যা KuCoin এর মতামত বা মতামত প্রতিফলিত করে না। এই বিষয়বস্তু শুধুমাত্র সাধারণ তথ্যগত উদ্দেশ্যে প্রদান করা হয়, কোন ধরনের প্রতিনিধিত্ব বা ওয়ারেন্টি ছাড়াই, বা এটিকে আর্থিক বা বিনিয়োগ পরামর্শ হিসাবে বোঝানো হবে না। KuCoin কোনো ত্রুটি বা বাদ পড়ার জন্য বা এই তথ্য ব্যবহারের ফলে যে কোনো ফলাফলের জন্য দায়ী থাকবে না। ডিজিটাল সম্পদে বিনিয়োগ ঝুঁকিপূর্ণ হতে পারে। আপনার নিজের আর্থিক পরিস্থিতির উপর ভিত্তি করে একটি পণ্যের ঝুঁকি এবং আপনার ঝুঁকি সহনশীলতা সাবধানে মূল্যায়ন করুন। আরও তথ্যের জন্য, অনুগ্রহ করে আমাদের ব্যবহারের শর্তাবলী এবং ঝুঁকি প্রকাশ পড়ুন।