کیا تیز تر ٹوکنائزیشن بڑے AI ماڈلز کی تربیت میں ایک بڑی رکاوٹ کو ختم کر سکتی ہے؟ گیگاٹوکن ایک اوپن سورس ٹوکنائزیر ہے جو تربیت کے ڈیٹا کو فائلوں سے براہ راست پڑھ کر اور کام کو متعدد CPU کورز پر تقسیم کر کے اس عمل کو بہت تیز کرنے کے لیے ڈیزائن کیا گیا ہے۔ تربیت کے لیے خام متن کو استعمال کرنے سے پہلے، اسے ٹوکنز میں تبدیل کرنا ضروری ہوتا ہے جو ماڈل پردازش کر سکے۔ یہ عام طور پر چھوٹے ڈیٹا سیٹس کے لیے اہم نہیں ہوتا، لیکن بڑے ڈیٹا سیٹس کو ٹوکنائز کرنے میں زیادہ وقت اور CPU وسائل درکار ہوتے ہیں۔ گیگاٹوکن نے ایک اعلیٰ درجہ کے سرور پر تقریباً 2.7 ارب GPT-2 ٹوکنز صرف آدھے سیکنڈ میں پروسس کیے، جو پروجیکٹ کے بینچ مارک میں Hugging Face کے ٹوکنائزیر سے تقریباً 1,000 گنا تیز تھا۔ بڑے تربیتی لیبز اور ڈیٹا فراہم کنندگان کے لیے، اس کا مطلب ہو سکتا ہے کہ ڈیٹا تیار کرنے کے لیے کم CPUز مختص کرنے پڑیں اور جب بھی ڈیٹا سیٹ یا ٹوکنائزیر میں تبدیلی آئے تو تیز تر اعادہ (iteration) ممکن ہو۔