
Au cours des deux dernières années, les coûts des jetons ont fortement augmenté malgré une baisse des prix par jeton. Les factures d’IA entreprise ont triplé en raison de l’explosion de la consommation de jetons — l’IA agente utilise 10 à 30 fois plus de jetons par tâche qu’un chatbot. Cela exige une stratégie de dimensionnement des jetons soigneuse et une sélection disciplinée des modèles. Principe fondamental : n’utilisez jamais des modèles de pointe coûteux comme alternative à Google Search. Les organisations doivent : • Dimensionner correctement les modèles : déployer des modèles plus petits, affinés pour des tâches spécifiques afin de minimiser l’utilisation inutile de jetons • Mettre en œuvre un routage des LLM : réduire les coûts en envoyant les tâches simples à des modèles moins chers • Mettre en cache de manière agressive : le cache des invites et le cache sémantique peuvent réduire de 30 à 60 % les requêtes répétées • Intégrer une gouvernance : mettre en place une surveillance en temps réel, des alertes budgétaires et des redevances aux unités métier comme garde-fous essentiels. #TMinsights
