পারপ্লেক্সিটি এআই pplx-garden ওপেন সোর্স করেছে উচ্চ গতির মাল্টি-জিপিইউ ইনফারেন্স সক্ষম করতে
KuCoinFlash
শেয়ার
সারাংশ
পারপ্লেক্সিটি এআই তার হাই-পারফরম্যান্স ইনফারেন্স টুলকিট, pplx-garden, ওপেন-সোর্স করেছে, যা মাল্টি-জিপিইউ প্রসেসিংকে বাড়াতে সাহায্য করবে। এই টুলকিটে একটি রাস্ট-ভিত্তিক কমিউনিকেশন লাইব্রেরি, fabric-lib, অন্তর্ভুক্ত রয়েছে যা NVIDIA-এর প্রোটোকলগুলি বাইপাস করে এবং NVIDIA ConnectX-7 এবং AWS EFA-এর মাধ্যমে 400 Gbps ব্যান্ডউইথ সমর্থন করে। এতে জিরো-কপি ডেটা ট্রান্সফার এবং MoE-অপ্টিমাইজড অ্যালগরিদম রয়েছে, যা টোকেনাইজেশনে CPU ব্যবহার কমিয়েছে। এই এআই + ক্রিপ্টো নিউজ আপডেটটি ডেভেলপারদের জন্য একটি নতুন টুল হাইলাইট করে। মুদ্রাস্ফীতির ডেটা ট্রেন্ডগুলি ভবিষ্যতের এআই ইনফ্রাস্ট্রাকচার বিনিয়োগকে প্রভাবিত করতে পারে।
ME AI সংবাদ, অনুসন্ধান ইঞ্জিন বিগ পারপ্লেক্সিটি AI-এর ডেটা মনিটরিংয়ের মাধ্যমে জানা যায় যে, পারপ্লেক্সিটি AI এখন তাদের উৎপাদন পরিবেশে ব্যবহৃত হাই-পারফরম্যান্স ইনফারেন্স ইনফ্রাস্ট্রাকচার টুলকিট pplx-garden-কে ওপেন-সোর্স করেছে। প্রকল্পটির কেন্দ্রীয় উপাদান হল তাদের নিজস্ব তৈরি Rust-ভিত্তিক হাই-পারফরম্যান্স পয়েন্ট-টু-পয়েন্ট কমিউনিকেশন লাইব্রেরি fabric-lib (যা TransferEngine নামেও পরিচিত), যা নভেডিয়ার এককালীন কমিউনিকেশন প্রোটোকলের হার্ডওয়্যার-বাইন্ডিংকে ভাঙতে উদ্দেশ্য রাখে, এবং ডেভেলপারদেরকে মহাকাশীয় নেটওয়ার্ক সুইচ কিনতে না গিয়েও ট্রিলিয়ন-প্যারামিটারের বড় মডেলগুলির অ্যাসিমেট্রিক, মাল্টি-GPU ক্লাস্টারে অতিরিক্ত গতিতে চালানোর সুযোগ দেয়। ঐতিহ্যগতভাবে, বিস্তৃত মডেল ইনফারেন্সগুলির জন্য নভেডিয়ার এককালীন হাই-স্পিড কমিউনিকেশন নেটওয়ার্কের উপর অত্যধিক নির্ভরশীলতা থাকায়, হার্ডওয়্যার ডিপ্লয়মেন্টের খরচ অত্যধিক হয়েছে, এবং সরবরাহ শৃঙ্খলা-বদ্ধতা (supply chain lock-in)এরও সম্মুখীন হয়েছে। fabric-lib-এর মাধ্যমে হার্ডওয়্যার-বদ্ধতা (hardware binding)কে দূরীভূত করা হয়েছে, যা NVIDIA ConnectX-7 NIC-এর সঙ্গেও পূর্ণসম্পন্নভাবে সামঞ্জস্যপূর্ণ,এবং Amazon-এর অল্পখরচি AWS EFA Ethernet NIC-এরও সহজেই সমর্থনকরে, GPUগুলির মধ্যকার নেটওয়ার্কব্যান্ডউইথকে 400 Gbps-এরও বেশি (পূর্ণ)তে পৌঁছেছে। AWS EFA-এর অসমক্রমিক (out-of-order)ট্রান্সমিশন-এর физический defekt-এর জন্য, Perplexity ImmCounter-এর (ইমকাউন্টার)সিঙ্ক্রোনাইজেশন মechanism-এর আবিষ্কারক,যা,ডেটা-প্যাকেটগুলিরক্রমকেকঠোভাবেঅনুমানকরা্য়াবশ্যকতা_হ_ত_ছ_ড_—_এ_খ_ন_ও_দক_ষ_ত_ভ_ব_হ_ই_“_জ_ি_র_ো_ক_প_ি_”_ড_া_ট_া_ফ_্ল_ো_ _অ_স_ম_্প_া_দ_।_ _ক_ম_ি_উ_ন_ি_ক_্য_শ_ন_ল_া_ই_ব_্র_্য_্য_্য_্য__ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 0000000000000000000000000000000000000000000000000000000000000000000000000000 1111111111111111111111111111111111111111111111111111111111111111111111 222222222222222222222222222222222222222222222222222222222222222222222 33333333333333333333333333333333333333333333333333333333333333333333 444444444444444444444444444444444444444444444444444444444444444444 555555555555555555555555555555555555555555555555555555555555555 666666666666666666666666666666666666666666666666666666666666 77777777777777777777777777777777777777777777777777777 8888888888888888888888888888888888888888888 99999999999999999999999999999999999999 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9
দাবিত্যাগ: এই পৃষ্ঠার তথ্য তৃতীয় পক্ষের কাছ থেকে প্রাপ্ত হতে পারে এবং অগত্যা KuCoin এর মতামত বা মতামত প্রতিফলিত করে না। এই বিষয়বস্তু শুধুমাত্র সাধারণ তথ্যগত উদ্দেশ্যে প্রদান করা হয়, কোন ধরনের প্রতিনিধিত্ব বা ওয়ারেন্টি ছাড়াই, বা এটিকে আর্থিক বা বিনিয়োগ পরামর্শ হিসাবে বোঝানো হবে না। KuCoin কোনো ত্রুটি বা বাদ পড়ার জন্য বা এই তথ্য ব্যবহারের ফলে যে কোনো ফলাফলের জন্য দায়ী থাকবে না।
ডিজিটাল সম্পদে বিনিয়োগ ঝুঁকিপূর্ণ হতে পারে। আপনার নিজের আর্থিক পরিস্থিতির উপর ভিত্তি করে একটি পণ্যের ঝুঁকি এবং আপনার ঝুঁকি সহনশীলতা সাবধানে মূল্যায়ন করুন। আরও তথ্যের জন্য, অনুগ্রহ করে আমাদের ব্যবহারের শর্তাবলী এবং ঝুঁকি প্রকাশ পড়ুন।
KuCoinFlash
সারাংশ