نوس ریسرچ کی TST ٹریننگ میتھڈ نے پچھلے کام کے ساتھ مشابہت کی وجہ سے بحث کو جنم دے دیا ہے

ME نیوز کے مطابق، 14 مئی (UTC+8) کو، Beating کی نگرانی کے مطابق، Nous Research نے بڑے ماڈل کی پری ٹریننگ کے لیے ایک نیا طریقہ "ٹوکن سٹیکنگ ٹریننگ" (TST) جاری کیا ہے۔ اس طریقہ میں تربیت کے ابتدائی مراحل میں مجاور ٹوکنز کو پیک کر کے دبایا جاتا ہے، جس سے ایک جیسے کمپوٹیشنل وسائل کے استعمال کے ساتھ پری ٹریننگ کا وقت 2 سے 3 گنا تک کم ہو جاتا ہے۔ TST دو مراحل پر مشتمل ہے۔ تربیت کے پہلے 20% سے 40% میں، ماڈل الگ الگ ٹوکنز نہیں پڑھتا بلکہ مجاور ٹوکنز کو "پیک" کرکے ان کا اوسط لے کر داخل کرتا ہے، اور آؤٹ پٹ پر اگلے پیک میں کون سے ٹوکنز شامل ہوں گے (اندر کا ترتیب نہیں) کا پیشن گوئی کرتا ہے۔ اس کے بعد، ماڈل عام اگلے ٹوکن کی پیشن گوئی پر واپس آ جاتا ہے۔ چونکہ بنیادی آرکیٹکچر میں کوئی تبدیلی نہیں کی گئی، اس لیے پیدا شدہ ماڈل انفرینس کے دوران عام ماڈلز کے مکمل طور پر مطابق ہوتا ہے۔ اس طریقہ کو 100 ارب پیرامیٹرز تک کے MoE ماڈلز پر تصدیق کر لیا گیا ہے۔ اس منصوبہ کا بنیادی خیال "ڈیٹا کا استعمال کرکے کمپوٹیشنل طاقت بچانا" ہے، جس سے تربیت کا وقت کم ہوتا ہے۔ اگلے مستقبل میں اگر معیاری متن ختم ہو جائے تو، ڈیٹا کو تیزی سے استعمال کرنے کا یہ خاصہ اس کا نقصان ثابت ہو سکتا ہے۔ علاوہ ازیں، پیپر جاری ہونے کے صرف کچھ گھنٹوں بعد، ایک قارئین نے نوٹ کیا کہ TST کا طریقہ 2024 میں جاری شدہ قدیم تحریر "Beyond Next Token Prediction" سے بہت مشابہ ہے۔ اس کے بعد، مصنفین نے Hugging Face پر اعتراف کیا کہ یہ "بھول بھلائی سے ہونے والا مطابقت (convergent research)" تھا، اور وعده کیا کہ وہ پیپر میں حوالہ جات شامل کرنے والے اپڈیٹس کر دیں گے۔ (ذرائع: BlockBeats)