تُصدر ByteDance Cola DLM مفتوح المصدر: نموذج تفاضلي لتوليد النص

أخبار ME، في 16 مايو (UTC+8)، وفقًا لمراقبة Beating، أصدر فريق Seed في ByteDance Cola DLM كبرنامج مفتوح المصدر. إنه نموذج لغوي موزع كامن مستمر يحاول تجاوز المسار الثابت لنموذج اللغة الكبير الذي يولد الرموز من اليسار إلى اليمين، ويعيد تشكيل توليد النصوص بحيث يبدأ بتنظيم المعاني العليا أولاً، ثم يعود إلى النصوص المحددة. يعتمد Cola DLM على مزيج من Text VAE وblock-causal DiT. يقوم Text VAE أولاً بتحويل النصوص المنفصلة إلى فضاء كامن مستمر، ثم يتعلم block-causal DiT من خلال مطابقة التدفق التوزيعات الكامنة المسبقة، وأخيرًا يقوم مُفكّك الشرط بتحويل المتغيرات الكامنة مرة أخرى إلى نص. عملية الانتشار تعالج التمثيلات الكامنة للدلالة، وليس الضوضاء المتكررة على مستوى الرموز مباشرة. الإصدار المفتوح المصدر الحالي هو نموذج من فئة 2B، أي حوالي 2.3 مليار معلمة إجمالية، منها 1.8 مليار معلمة للـ DiT الأساسي و500 مليون معلمة للـ VAE. في ثمانية تقييمات – LAMBADA وMMLU وOBQA وHellaSwag وRACE وSIQA وSQuAD وStory Cloze – يدّعي البحث أن النموذج، ضمن بروتوكول تقييم توليدي موحد، يمتلك أداءً قابلًا للمقارنة مع خطوط أساسية AR/LLaDA من نفس الحجم، وحقق أعلى متوسط نهائي. ومع ذلك، لا يزال هذا نموذجًا بحثيًا وليس نموذجًا حواريًا جاهزًا للاستخدام المباشر. ويوضح الفريق الرسمي أن النموذج لم يخضع للضبط بالإرشادات أو RLHF، ويُستخدم بشكل رئيسي لدراسة كيفية استخدام الانتشار الكامن المستمر في توليد النصوص. كما عرض البحث تجارب أولية لتوسيع النموذج إلى التمثيل الموحّد للنص والصورة، لكن مستودع المصدر المفتوح الحالي يحتوي فقط على خط أنابيب النص. (المصدر: BlockBeats)