バッチ処理をスケールさせるまで、トークン化は小さなCPU処理に見える。しかし、それ以降はメモリ階層と割り当てコストの問題となる。 これは、計算の微細な最適化よりも、ポインタの追跡と割り当てを排除することがいかに重要かを示す事例である。