Le prochain goulot d'étranglement en IA n'est pas toujours le modèle. Parfois, c'est la latence. Imaginez que votre agent doive… lire un document, appeler une base de données, rechercher sur le web, exécuter un outil, puis demander au modèle quoi faire ensuite. Si chaque étape attend la précédente, une tâche simple peut prendre plusieurs secondes, voire des minutes. C’est là que des éléments comme les appels d’outils parallèles, le streaming, le cache et l’exécution asynchrone deviennent essentiels. Vous n’avez pas nécessairement besoin d’un modèle plus intelligent. Vous pourriez simplement avoir besoin d’un meilleur système autour de lui. C’est quelque chose que j’aime dans l’ingénierie de l’IA actuellement. Beaucoup de problèmes complexes commencent à sembler très familiers : systèmes distribués, cache, files d’attente, concurrence, observabilité. La partie IA est nouvelle. Les problèmes d’ingénierie qui la sous-tendent, eux, ne le sont pas.