বছরের মধ্যে সবচেয়ে বিস্তারিত সীমান্ত LLM প্রশিক্ষণ রিপোর্টগুলির মধ্যে একটি। মাইক্রোসফট তাদের যুক্তিকেন্দ্রিক মডেল MAI-Thinking-1-এর একটি গভীর প্রযুক্তিগত বিশ্লেষণ প্রকাশ করেছে: • 35B সক্রিয় / 1T মোট প্যারামিটার MoE • 256k কনটেক্সট উইন্ডো (~600-পৃষ্ঠার দলিল) • 8,000 GB200 GPU-এর ক্লাস্টারে প্রশিক্ষিত আকর্ষণীয় বিষয়টি হল: নতুন আর্কিটেকচারের চেয়ে ডেটা গুণগতমান এবং প্রশিক্ষণ পদ্ধতির উপর বেশি জোর দেওয়া হয়েছে। এটিই হয়তো সীমান্ত-মডেলের সুবিধার বড় অংশ যাচ্ছে। এটি ওপেন-সোর্স করা হচ্ছে না, কিন্তু মাইক্রোসফট API-এর মাধ্যমে ফাইন-টিউনিং প্রদানের পরিকল্পনা করছে। যদি আরও বড় টেক ল্যাবগুলি এই মাত্রার বিস্তারিততা আবার শেয়ার করতে শুরু করে, তবে গবেষকদের এবং বিল্ডারদের জন্য বাস্তবেই কী গুরুত্বপূর্ণ, তা অনেকটা পরিষ্কারভাবে দেখা যাবে। আপনি কি মনে করেন, পরবর্তী বড় অগ্রগতিগুলি ভালো আর্কিটেকচারগুলির—নাকি ভালো ডেটা এবং প্রশিক্ষণ পাইপলাইনগুলির—থেকেই আসবে?
শেয়ার
উৎস:আসল দেখান
দাবিত্যাগ: এই পৃষ্ঠার তথ্য তৃতীয় পক্ষের কাছ থেকে প্রাপ্ত হতে পারে এবং অগত্যা KuCoin এর মতামত বা মতামত প্রতিফলিত করে না। এই বিষয়বস্তু শুধুমাত্র সাধারণ তথ্যগত উদ্দেশ্যে প্রদান করা হয়, কোন ধরনের প্রতিনিধিত্ব বা ওয়ারেন্টি ছাড়াই, বা এটিকে আর্থিক বা বিনিয়োগ পরামর্শ হিসাবে বোঝানো হবে না। KuCoin কোনো ত্রুটি বা বাদ পড়ার জন্য বা এই তথ্য ব্যবহারের ফলে যে কোনো ফলাফলের জন্য দায়ী থাকবে না।
ডিজিটাল সম্পদে বিনিয়োগ ঝুঁকিপূর্ণ হতে পারে। আপনার নিজের আর্থিক পরিস্থিতির উপর ভিত্তি করে একটি পণ্যের ঝুঁকি এবং আপনার ঝুঁকি সহনশীলতা সাবধানে মূল্যায়ন করুন। আরও তথ্যের জন্য, অনুগ্রহ করে আমাদের ব্যবহারের শর্তাবলী এবং ঝুঁকি প্রকাশ পড়ুন।