Maaari ba ng mas mabilis na tokenization ang alisin ang isang malaking bottleneck sa pagtatrain ng malalaking AI models? Ang Gigatoken ay isang open-source tokenizer na disenyo upang gawing mas mabilis ang prosesong ito sa pamamagitan ng pagbabasa ng training data diretso mula sa mga file at pagpapamahagi ng trabaho sa mga maraming CPU cores. Bago gamitin ang raw text para sa pagtatrain, kailangan itong i-convert sa mga token na kayang proesuhin ng model. Karaniwang hindi ito mahalaga para sa maliit na dataset, ngunit ang pag-tokenize ng mas malalaking dataset ay nangangailangan ng higit pang oras at CPU resources. Ang Gigatoken ay pinroseso ang halos 2.7 bilyong GPT-2 tokens sa halos kalahating segundo sa isang high-end server, na halos 1,000x mas mabilis kaysa sa tokenizer ng Hugging Face sa benchmark ng proyekto. Para sa malalaking training labs at data providers, maaaring ibig sabihin nito na mas kaunting CPU ang nakalaan para sa paghahanda ng data at mas mabilis na iteration kahit anong pagbabago sa dataset o tokenizer.