Bottleneck seterusnya dalam AI tidak selalunya modelnya. Kadang-kadang ia adalah latensi. Bayangkan agen anda perlu: membaca dokumen, memanggil pangkalan data, mencari di web, menjalankan alat, kemudian bertanya kepada model apa yang perlu dilakukan seterusnya. Jika setiap langkah menunggu langkah sebelumnya, tugas ringan boleh mengambil beberapa saat atau bahkan beberapa minit. Di sinilah perkara seperti panggilan alat secara serentak, streaming, caching, dan eksekusi asinkron menjadi penting. Anda tidak semestinya memerlukan model yang lebih pintar. Anda mungkin hanya memerlukan sistem yang lebih baik di sekelilingnya. Itu salah satu perkara yang saya suka tentang kejuruteraan AI sekarang. Banyak masalah sukar mulai nampak sangat familiar—sistem teragih, caching, antrian, konkurensi, observability. Bahagian AI adalah baharu. Masalah kejuruteraan di bawahnya bukan.