أخبار ME، في 19 مايو (UTC+8)، وفقًا لمراقبة Beating، أطلقت ByteDance Research رسميًا النموذج الكبير متعدد الأشكال الأصلي الموحّد Lance كمصدر مفتوح. هذا نموذج خفيف الوزن بمعلمات مُفعّلة فقط 3B، يدعم في إطار واحد موحد فهم الصور والفيديوهات، وإنشاءها وتحريرها. حاليًا، تعتمد النماذج الموحّدة السائدة بشكل كبير على زيادة حجم المعلمات أو استخدام بنية النص إلى الصورة، بينما نجح Lance في تحقيق مسار تعاوني بحسابات منخفضة جدًا. قام فريق التطوير بتدريب النموذج من الصفر تمامًا، وخفض الميزانية الحسابية الإجمالية لدورة التدريب إلى 128 وحدة معالجة رسومية A100. لحل الصراعات الداخلية بين الأشكال والمهمات المختلفة، قام Lance بتنفيذ عزلين صارمين في البنية: - استخدام بنية خبراء مختلطة ثنائية التدفق (MoE) للتعامل مع التسلسلات متعددة الأشكال المتشابكة، مع مشاركة السياق الأساسي مع فصل مسارات الحساب الخاصة بالفهم والإنشاء. - إدخال ترميز موضعي دوار يدرك الشكل، مما يقلل مباشرةً التداخل الإشاري بين رموز المرئيات غير المتجانسة للصور والفيديوهات. لم تؤدِّ الضغوط الشديدة على الحسابات إلى خفض الحد الأقصى للأداء. فبمعلمات مُفعّلة فقط 3B، يتفوق Lance في إنشاء الصور والفيديوهات وتحريرها على معظم النماذج الموحّدة المفتوحة المصدر الحالية في الاختبارات المرجعية، ويحقق مسارًا منخفض التكلفة يجمع بين الإنشاء والفهم الدلالي باستخدام معلمات صغيرة. (المصدر: BlockBeats)
تُصدر ByteDance نموذجًا متعدد الوسائط بـ 3 مليارات معلمة يُدعى Lance، تم تدريبه على 128 وحدة A100
KuCoinFlashمشاركة
ملخص
أصدرت ByteDance نموذجها متعدد الوسائط ذو 3 مليارات معلمة، Lance، في 19 مايو، وتم تدريبه باستخدام 128 وحدة A100. يعالج النموذج مهام الصور والفيديو في إطار واحد. تُظهر بيانات السلسلة ارتفاعًا في المراكز المفتوحة لمشاريع التشفير المعتمدة على الذكاء الاصطناعي. يستخدم Lance تصميم MoE ثنائي التدفق وكودية دورانية واعية بالوسائط لتقليل التكاليف مع الحفاظ على أداء قوي. وقد نمت المراكز المفتوحة للرموز المرتبطة بالذكاء الاصطناعي بشكل مستقر هذا الربع.
المصدر:عرض النسخة الأصلية
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة قد حصلت عليها من أطراف ثالثة ولا تعكس بالضرورة وجهات نظر أو آراء KuCoin. يُقدّم هذا المحتوى لأغراض إعلامية عامة فقط ، دون أي تمثيل أو ضمان من أي نوع ، ولا يجوز تفسيره على أنه مشورة مالية أو استثمارية. لن تكون KuCoin مسؤولة عن أي أخطاء أو سهو ، أو عن أي نتائج ناتجة عن استخدام هذه المعلومات.
يمكن أن تكون الاستثمارات في الأصول الرقمية محفوفة بالمخاطر. يرجى تقييم مخاطر المنتج بعناية وتحملك للمخاطر بناء على ظروفك المالية الخاصة. لمزيد من المعلومات، يرجى الرجوع إلى شروط الاستخدام واخلاء المسؤولية.