বাইটডান্স 128টি A100 GPU-তে প্রশিক্ষিত 3B-প্যারামিটার মাল্টিমোডাল মডেল ল্যান্স ওপেন সোর্স করেছে

ME সংবাদ, ১৯ মে (UTC+8), ডোংচা বিটিং-এর মনিটরিং অনুযায়ী, বাইটডান্স (ByteDance Research) আনুষ্ঠানিকভাবে নেটিভ ইউনিফাইড মাল্টিমোডাল লার্জ মডেল ল্যান্সকে ওপেন সোর্স করেছে। এটি কেবলমাত্র 3B সক্রিয় প্যারামিটার সহ একটি হালকা মডেল, যা একক ফ্রেমওয়ার্কের মধ্যে ছবি এবং ভিডিওর বুঝতে, তৈরি করতে এবং সম্পাদনা করতে সক্ষম। বর্তমানে প্রচলিত ইউনিফাইড মডেলগুলি প্যারামিটারের আকার বাড়ানোর বা টেক্সট-টু-ইমেজ আর্কিটেকচারের উপর অত্যধিকভাবে নির্ভরশীল, কিন্তু ল্যান্স অত্যন্ত কম কম্পিউটেশনাল শক্তির সহযোগিতামূলক পথটি সফলভাবে চালু করেছে। গবেষণা দলটি মডেলটিকে সম্পূর্ণভাবে শূন্য থেকে প্রশিক্ষণ দিয়েছে এবং সমগ্র প্রশিক্ষণ চক্রের মোট কম্পিউটেশনাল বাজেটকে 128টি A100 GPU-এর সীমায় সংকুচিত করেছে। বিভিন্ন মোডালিটি এবং কাজগুলির মধ্যে অভ্যন্তরীণ সংঘাতকে সমাধানের জন্য, ল্যান্স-এর আর্কিটেকচারে দুটি কঠোর বিচ্ছিন্নতা অন্তর্ভুক্ত করা হয়েছে: - শেয়ারড লোয়ার-লেভেল কনটেক্সটের সাথে, বুঝতে এবং তৈরি করতে গণনা-পথগুলির ডিকপলিংয়ের জন্য, 2-স্ট্রিম মিক্সড-এক্সপার্ট (MoE) আর্কিটেকচার। - image and video heterogenous visual tokens-এর 사이 signal interference-কে directly weaken करने के लिए, modality-aware rotary positional encoding। অত্যন্ত low compute compression performance upper bound को lower नहीं किया। केवल 3B active parameters के साथ, Lance की image and video generation and editing performance most benchmarking tests में leading open-source unified models को surpass करती है, और एक low-cost path जो small parameters के साथ generation और semantic understanding को balance करती है, को multi-task collaboration के माध्यम से successfully achieve करती है। (সূত্র: BlockBeats)