Nút thắt tiếp theo trong AI không phải lúc nào cũng là mô hình. Đôi khi đó là độ trễ. Hãy tưởng tượng tác nhân của bạn cần… đọc một tài liệu, gọi cơ sở dữ liệu, tìm kiếm trên web, chạy một công cụ, sau đó hỏi mô hình nên làm gì tiếp theo. Nếu mỗi bước đều phải chờ bước trước đó hoàn thành, một tác vụ đơn giản có thể mất vài giây hoặc thậm chí vài phút. Đây là lúc những thứ như gọi công cụ song song, streaming, bộ nhớ đệm và thực thi bất đồng bộ trở nên quan trọng. Bạn không nhất thiết cần một mô hình thông minh hơn. Bạn có thể chỉ cần một hệ thống tốt hơn xung quanh nó. Đó là điều tôi thích ở kỹ thuật AI hiện nay. Rất nhiều vấn đề khó đang bắt đầu trông rất quen thuộc: hệ thống phân tán, bộ nhớ đệm, hàng đợi, đồng thời, khả năng quan sát. Phần AI là mới. Nhưng những vấn đề kỹ thuật bên dưới nó thì không phải.