Liệu việc mã hóa token nhanh hơn có thể loại bỏ một điểm nghẽn lớn trong việc huấn luyện các mô hình AI quy mô lớn? Gigatoken là một bộ mã hóa token mã nguồn mở được thiết kế để làm cho quá trình này nhanh hơn đáng kể bằng cách đọc dữ liệu huấn luyện trực tiếp từ các tệp và phân phối công việc trên nhiều lõi CPU. Trước khi văn bản thô có thể được sử dụng để huấn luyện, nó phải được chuyển đổi thành các token mà mô hình có thể xử lý. Điều này thường không quan trọng đối với các tập dữ liệu nhỏ, nhưng việc mã hóa các tập dữ liệu lớn đòi hỏi nhiều thời gian và tài nguyên CPU hơn. Gigatoken đã xử lý khoảng 2,7 tỷ token GPT-2 trong khoảng một nửa giây trên một máy chủ cao cấp, nhanh gần 1.000 lần so với bộ mã hóa của Hugging Face trong bài kiểm tra của dự án. Đối với các phòng thí nghiệm huấn luyện lớn và các nhà cung cấp dữ liệu, điều đó có thể có nghĩa là ít CPU hơn được dành để chuẩn bị dữ liệu và tốc độ lặp lại nhanh hơn mỗi khi có sự thay đổi trong tập dữ liệu hoặc bộ mã hóa.