AIの次のボトルネックは、常にモデルではない。 たまに、レイテンシーだ。 あなたのエージェントが、 ドキュメントを読み、 データベースを呼び出し、 ウェブを検索し、 ツールを実行し、 次にモデルに次に何をすべきか尋ねる必要があるとしよう。 各ステップが前のステップを待つ場合、単純なタスクでも数秒、あるいは数分かかる可能性がある。 このとき、並列ツール呼び出し、ストリーミング、キャッシュ、非同期実行などが重要になる。 より賢いモデルが必要というわけではない。 むしろ、その周囲のシステムを改善するだけで十分かもしれない。 これが現在のAIエンジニアリングで私が好きな点だ。 多くの難しい問題が、非常に馴染み深いものに見えてきた——分散システム、キャッシュ、キュー、並列処理、可観測性。 AIの部分は新しいが、その下にあるエンジニアリングの課題はそうでない。