AI 的下一個瓶頸並不總是模型本身。 有時，它是延遲。 想像一下，你的代理需要： 讀取一份文件， 呼叫資料庫， 搜尋網路， 執行一個工具， 然後詢問模型下一步該做什麼。 如果每一步都必須等待前一步完成，一個簡單的任務可能需要幾秒甚至幾分鐘。 這時，並行工具呼叫、串流、快取和非同步執行等技術就變得至關重要。 你不一定需要一個更聰明的模型， 你可能只是需要一個更好的周邊系統。 這正是我目前喜歡 AI 工程的地方。 許多艱難的問題開始顯得非常熟悉：分散式系統、快取、佇列、併發、可觀測性。 AI 部分是新的，但其背後的工程問題並非如此。