Hindi laging ang modelo ang susunod na bottleneck sa AI. Kadalasan, ito ay latency. Isipin na kailangan ng iyong agent na.. basahin ang isang dokumento, tumawag sa database, maghanap sa web, jalurin ang isang tool, at pagkatapos ay tanungin ang modelo kung ano ang susunod na gagawin. Kung bawat hakbang ay naghihintay sa nakaraan, maaaring magtagal ng ilang segundo o kahit minuto ang isang simpleng gawain. Dito nagsisimula ang kahalagahan ng mga bagay tulad ng parallel tool calls, streaming, caching, at async execution. Hindi mo kailangan ng mas matalinong modelo. Maaaring kailangan mo lang ng mas magandang sistema sa palibot nito. Ito ang isang bagay na gusto ko sa AI engineering ngayon. Marami sa mga mahirap na problema ay nagsisimula nang mukhang pamilyar: distributed systems, caching, queues, concurrency, observability. Ang bahagi ng AI ay bago. Ang mga problema sa engineering sa ilalim nito ay hindi.