AIMPACT সংবাদ, 1 মে (UTC+8), লাইটসিক ফাউন্ডেশন সাম্প্রতিক সময়ে শেপার্ড মডেল গেটওয়ে (SMG) প্রকাশ করেছে, যা LLM সেবায় CPU-ঘন কাজের কারণে উৎপাদনের বাধা দূর করার জন্য ডিজাইন করা হয়েছে। এর ডিজাইন ধারণা হলো, সমস্ত গুগল-বহির্ভূত কাজকে Rust-এ তৈরি একটি গেটওয়েতে স্থানান্তরিত করা এবং ইনফারেন্স প্রক্রিয়াকে ন্যূনতম gRPC সীমানা দিয়ে ঘিরে রাখা, যাতে CPU-এর ইনফারেন্স পথের উপর বাধা কমে যায় এবং সামগ্রিক সেবা দক্ষতা বৃদ্ধি পায়। (উৎস: InFoQ)
লাইটসিক ফাউন্ডেশন এলএলএম সিপিইউ বটলনেক কমানোর জন্য শেপার্ড মডেল গেটওয়ে চালু করেছে
KuCoinFlashশেয়ার
সারাংশ
২০২৬ সালের ১ মে (UTC+8) এ, লাইটসিক ফাউন্ডেশন এলএলএম সেবাগুলিতে সিপিইউ বটলনেক সমাধানের জন্য শেপার্ড মডেল গেটওয়ে (এসএমজি) চালু করার ঘোষণা দেয়। এই সমাধানটি গিপিইউ-বাইরের কাজগুলিকে রাস্ট-ভিত্তিক গেটওয়েতে রাউট করে এবং জিআরপিসি সীমানা কমিয়ে সিপিইউ ব্লকিং কমায়। এই আপডেটটি ক্রিপ্টো খবরে অন-চেইন খবর হিসাবে একটি গুরুত্বপূর্ণ বিকাশ হিসাবে প্রকাশিত হয়েছে। ডিজাইনটি এলএলএম ইনফারেন্সের জন্য সেবার দক্ষতা বাড়ানোর উদ্দেশ্যে।
উৎস:আসল দেখান
দাবিত্যাগ: এই পৃষ্ঠার তথ্য তৃতীয় পক্ষের কাছ থেকে প্রাপ্ত হতে পারে এবং অগত্যা KuCoin এর মতামত বা মতামত প্রতিফলিত করে না। এই বিষয়বস্তু শুধুমাত্র সাধারণ তথ্যগত উদ্দেশ্যে প্রদান করা হয়, কোন ধরনের প্রতিনিধিত্ব বা ওয়ারেন্টি ছাড়াই, বা এটিকে আর্থিক বা বিনিয়োগ পরামর্শ হিসাবে বোঝানো হবে না। KuCoin কোনো ত্রুটি বা বাদ পড়ার জন্য বা এই তথ্য ব্যবহারের ফলে যে কোনো ফলাফলের জন্য দায়ী থাকবে না।
ডিজিটাল সম্পদে বিনিয়োগ ঝুঁকিপূর্ণ হতে পারে। আপনার নিজের আর্থিক পরিস্থিতির উপর ভিত্তি করে একটি পণ্যের ঝুঁকি এবং আপনার ঝুঁকি সহনশীলতা সাবধানে মূল্যায়ন করুন। আরও তথ্যের জন্য, অনুগ্রহ করে আমাদের ব্যবহারের শর্তাবলী এবং ঝুঁকি প্রকাশ পড়ুন।