هل يمكن للتوسيم الأسرع إزالة عقبة رئيسية في تدريب نماذج الذكاء الاصطناعي الكبيرة؟ Gigatoken هو مُوَسِّم مفتوح المصدر مصمم لتسريع هذه العملية بشكل كبير من خلال قراءة بيانات التدريب مباشرة من الملفات وتوزيع المهمة عبر عدة نوى CPU. قبل استخدام النص الخام في التدريب، يجب تحويله إلى رموز يمكن للنموذج معالجتها. عادةً لا يمثل هذا مشكلة بالنسبة لمجموعات البيانات الصغيرة، لكن ترميز مجموعات البيانات الأكبر يتطلب وقتًا وموارد CPU أكبر. عالج Gigatoken حوالي 2.7 مليار رمز GPT-2 في حوالي نصف ثانية على خادم عالي الأداء، وهو أسرع بنحو 1000 مرة من مُوَسِّم Hugging Face في اختبارات المشروع. للمختبرات الكبيرة للتدريب ومزودي البيانات، قد يعني ذلك تقليل عدد وحدات المعالجة المركزية المخصصة لإعداد البيانات وتسريع التكرار كلما تغيرت مجموعة البيانات أو المُوَسِّم.