Daha hızlı tokenizasyon, büyük AI modellerinin eğitimi sırasında büyük bir darboğazı kaldırabilir mi? Gigatoken, eğitim verilerini doğrudan dosyalardan okuyarak ve işleri birden fazla CPU çekirdeğine dağıtarak bu süreci çok daha hızlı hale getirmek için tasarlanmış açık kaynaklı bir tokenizer'dır. Ham metin, modelin işleyebileceği tokenlara dönüştürülmelidir. Bu genellikle küçük veri kümeleri için önemli değildir, ancak daha büyük veri kümelerini tokenize etmek daha fazla zaman ve CPU kaynağı gerektirir. Gigatoken, yüksek performanslı bir sunucuda yaklaşık yarım saniyede 2,7 milyar GPT-2 tokenini işlemiştir; bu, projenin performans testinde Hugging Face tokenizer'ından neredeyse 1.000 kat daha hızlıydı. Büyük eğitim laboratuvarları ve veri sağlayıcıları için bu, veri hazırlamak için ayrılan CPU sayısını azaltabilir ve veri kümesi veya tokenizer değiştiğinde daha hızlı yineleme imkanı sunabilir.