ME نیوز کے مطابق، 16 مئی (UTC+8) کو، Beating کی نگرانی کے مطابق، ByteDance Seed ٹیم نے Cola DLM کو اوپن سورس کر دیا ہے۔ یہ ایک مسلسل پٹینشل ڈفیوژن لینگویج مڈل ہے جو بڑے لینگویج مڈلز کے مخصوص بائیں سے دائیں ٹوکن کے مطابق تولید کے طریقے سے بچنے کی کوشش کرتا ہے اور ٹیکسٹ تولید کو اعلیٰ معنیاتی ساخت کو پہلے ترتیب دینے اور پھر اسے مخصوص الفاظ میں واپس لانے پر مرکوز کرتا ہے۔ Cola DLM کا مرکزی حصہ Text VAE + block-causal DiT ہے۔ Text VAE پہلے غیر متصل ٹیکسٹ کو مسلسل پٹینشل سپیس میں نقشہ بنا دیتا ہے، اور block-causal DiT Flow Matching کے ذریعے پٹینشل پریئر سیکھتا ہے، جس کے بعد شرطی ڈیکوڈر پٹینشل متغیرات کو دوبارہ ٹیکسٹ میں تبدیل کرتا ہے۔ ڈفیوژن عمل پٹینشل معنیاتی نمائندگیوں پر عمل کرتا ہے، نہ کہ براہ راست ٹوکن لیول پر اکثر نوائز کرنے پر۔ اس بار کا اوپن سورس ورژن 2B لیول کا ماڈل ہے، جس میں تقریباً 23 ارب کل پیرامیٹرز شامل ہیں، جن میں مرکزی DiT 18 ارب پیرامیٹرز اور VAE میں 5 ارب پیرامیٹرز شامل ہیں۔ LAMBADA، MMLU، OBQA، HellaSwag، RACE، SIQA، SQuAD، اور Story Cloze جیسے 8 امتحانات میں، پیپر کے مطابق، اس نے ایک یکسانہ جنریٹو ایوانل پروٹوکول کے تحت اپنے سائز کے AR / LLaDA بنچ مارکس کے ساتھ مقابلہ کرنے کا ثبوت دیا ہے اور آخری اوسط اسکور پر بہترین نتائج حاصل کئے ہیں۔ تاہم، ابھی تک یہ صرف ریسرچ-بیسڈ چیکپوائنٹ ہے، براہ راست استعمال کے لیے ڈائلاگ ماڈل نہیں۔ باضابطہ طور پر بتایا گیا ہے کہ اس ماڈل کو انسٹرکشن فائن ٹننگ اور RLHF سے نہیں گزارا گیا ہے، اور اس کا بنیادی مقصد مسلسل پٹینشل ڈفیوژن کو ٹیکسٹ جنریشن میں استعمال کرنے پر تحقیق کرنا ہے۔ پیپر نے ٹیکسٹ اور تصویر کے اتحاد مدلنگ میں توسیع کے لیے ابتدائی تجربات بھی دکھائے ہیں، لیکن اس اوپن سورس رپازٹری میں صرف ٹیکسٹ پائپ لائن شامل ہے۔ (ذرائع: BlockBeats)
بائٹڈانس نے کولا DLM: ٹیکسٹ جنریشن کے لیے ایک ڈیفیوژن ماڈل کو اوپن سورس کر دیا ہے
KuCoinFlashبانٹیں
خلاصہ
بائٹڈانس کی سیڈ ٹیم نے 16 مئی (UTC+8) کو میٹاایرا پر مبنی، ٹیکسٹ جنریشن کے لیے کولا DLM، ایک ڈفیوژن ماڈل کو اوپن سورس کیا۔ یہ ماڈل ٹیکسٹ VAE اور بلاک-کوزل DiT کو ملا کر اعلیٰ سطح کے معنیات کو پہلے منظم کرتے ہوئے ٹیکسٹ جنریٹ کرتا ہے۔ 2B سائز کا اوپن سورس ورژن 23 ارب کل پیرامیٹرز پر مشتمل ہے اور آٹھ بینچ مارکس پر مضبوط کارکردگی دکھاتا ہے۔ یہ اب بھی ایک تحقیقی چیک پوائنٹ ہے، مکالمہ ماڈل نہیں، کیونکہ اس میں انستراکشن فائن ٹننگ یا RLHF کا فقدان ہے۔ جبکہ نقدین کی صلاحیت اور کرپٹو مارکیٹس مسلسل ترقی کر رہے ہیں، ایسے ماڈلز CFT (دہشت گردی کے فنڈنگ کا مقابلہ) کے اقدامات کو بہتر مواد کی جانچ اور دھوکہ دہی کی تشخیص کے ذریعے متاثر کر سکتے ہیں۔
ذریعہ:اصل دکھائیں۔
اعلان دستبرداری: اس صفحہ پر معلومات تیسرے فریق سے حاصل کی گئی ہوں گی اور یہ ضروری نہیں کہ KuCoin کے خیالات یا خیالات کی عکاسی کرے۔ یہ مواد کسی بھی قسم کی نمائندگی یا وارنٹی کے بغیر صرف عام معلوماتی مقاصد کے لیے فراہم کیا گیا ہے، اور نہ ہی اسے مالی یا سرمایہ کاری کے مشورے کے طور پر سمجھا جائے گا۔ KuCoin کسی غلطی یا کوتاہی کے لیے، یا اس معلومات کے استعمال کے نتیجے میں کسی بھی نتائج کے لیے ذمہ دار نہیں ہوگا۔
ڈیجیٹل اثاثوں میں سرمایہ کاری خطرناک ہو سکتی ہے۔ براہ کرم اپنے مالی حالات کی بنیاد پر کسی پروڈکٹ کے خطرات اور اپنے خطرے کی برداشت کا بغور جائزہ لیں۔ مزید معلومات کے لیے، براہ کرم ہماری استعمال کی شرائط اور خطرے کا انکشاف دیکھیں۔