Việc mã hóa token trông giống như một bước xử lý CPU nhỏ cho đến khi bạn tăng kích thước lô. Sau đó, nó trở thành vấn đề về phân cấp bộ nhớ và chi phí cấp phát. Đây thực sự là một trường hợp nghiên cứu về cách loại bỏ việc truy cập con trỏ và cấp phát lại quan trọng hơn là tối ưu vi mô về tính toán.