La plupart des équipes choisissent leur modèle LLM comme elles choisissent un outil SaaS : elles prennent le plus connu, ou le plus performant sur les benchmarks, puis elles construisent dessus. Le coût d'infrastructure devient une surprise six mois plus tard, quand le projet monte en charge.
Le paradoxe : les LLMs n'ont jamais été aussi peu chers. Selon une analyse a16z publiée en novembre 2024, le coût de l'inférence à performance équivalente diminue d'un facteur 10 chaque année. Ce qui coûtait 60$ par million de tokens en 2021 revenait à 0,06$ en 2024. Mais rester compétitif pousse vers les modèles les plus performants, dont les prix ne baissent pas au même rythme. Le coût global monte quand même si l'architecture n'est pas pensée en amont. (Source : LLMflation, Andreessen Horowitz, novembre 2024)
Chez IALab, on a fait le choix inverse. Les coûts LLM entrent dans l'architecture dès le premier sprint, pas en fin de projet quand tout est déjà construit.
Le problème réel : ce n'est pas le modèle, c'est la stratégie
Le réflexe naturel quand on veut réduire les coûts LLM, c'est de chercher un modèle moins cher. C'est souvent la mauvaise approche.
Il y a aussi un piège de marché à comprendre : les LLMs sont globalement moins chers qu'en 2023, mais rester compétitif pousse vers les modèles les plus performants. Le benchmark monte chaque trimestre. La bonne question n'est donc pas « quel modèle est le moins cher ? » mais « quelle architecture minimise le coût par tâche complétée ? »
Le cadre : coût, qualité, vitesse
Ce ne sont pas trois contraintes fixes mais trois curseurs sur lesquels on peut agir. Le but : faire baisser le coût sans toucher à la qualité, en s'autorisant à lâcher un peu de vitesse là où elle ne sert à rien. Un traitement qui n'a pas besoin d'une réponse en temps réel peut très bien tourner la nuit. Ce n'est pas un compromis sur la qualité, c'est une décision d'architecture.
Ce changement de perspective ouvre quatre leviers concrets.
Les 4 leviers qu'on applique systématiquement
Le model routing
20-30% d'économiesToutes les requêtes ne méritent pas le même modèle. Dans la majorité des projets qu'on développe, environ 80% des requêtes sont simples : extraction, classification, complétion de template. Ces tâches n'ont pas besoin d'un modèle frontier. On qualifie la complexité de chaque prompt en amont, puis on mappe vers le modèle le moins cher capable de faire le travail correctement.
| Niveau | Type de tâche | Modèle | Coût output |
|---|---|---|---|
| S — léger | Extraction, formatage, classification | Haiku / Gemini Flash | 0,30-1$/M tokens |
| M — moyen | Scoring, analyse, résumé | Claude Sonnet / GPT-5.4 | 3-15$/M tokens |
| L — lourd | Rédaction, synthèse complexe, code avancé | Claude Opus / o3 | 25-150$/M tokens |
Le prompt caching
30-50% d'économies sur la partie statiqueDans la plupart des projets IA, le même contexte revient à chaque appel : instructions système, schéma, exemples. Les fournisseurs comme Anthropic et OpenAI mettent en cache ces représentations internes. Le premier appel coûte 1,25× le prix normal (écriture du cache). Chaque appel suivant qui réutilise ce contexte est facturé à 10% du prix normal.
L'écart entre une architecture avec et sans cache se creuse de façon non linéaire avec le volume. À 1 000 requêtes du même contexte envoyées dans une fenêtre de temps courte, l'architecture avec cache revient à environ 10× moins cher. (Source : Anthropic Docs)
Le batching côté client
Effet multiplicateur sur le cachingCe levier est souvent confondu avec les APIs batch des fournisseurs. C'est différent. Il s'agit de regrouper plusieurs requêtes dans une même fenêtre de temps courte côté client, plutôt que de les envoyer au fil de l'eau.
Quand plusieurs requêtes partagent le même contexte système et sont traitées ensemble, le cache est activé dès la deuxième requête du lot. Sans batching, chaque requête envoyée isolément peut rater la fenêtre de cache et repayer le contexte plein tarif. C'est une optimisation d'architecture, pas un service du fournisseur.
Le context filtering
Moins de tokens, plus de précisionLe réflexe initial est d'envoyer tout le contexte disponible à chaque prompt. Ce n'est ni nécessaire ni efficace. Pour chaque tâche, on identifie les champs réellement utiles et on filtre le reste.
Moins de tokens en entrée, c'est moins cher. Mais c'est aussi plus précis : un modèle noyé dans des données non pertinentes produit des sorties moins fiables qu'un modèle qui reçoit exactement ce dont il a besoin.
Ce que ça donne en pratique : le cas du chatbot support
Un chatbot de support avec 10 000 articles de base de connaissances, 1 000 conversations par jour.
Sans optimisation
75 000€par mois
Tout en Claude Opus, pas de caching, contexte non filtré.
~2,50$ par conversation.
Avec architecture IALab
10 500€par mois
Caching + context filtering + routing 80% Flash / 20% Sonnet + batching.
~0,35$ par conversation.
sur ce cas type
de la qualité des réponses
chaque mois
Comment on mesure
Réduire les coûts sans mesurer l'impact sur la qualité, c'est prendre un risque. On suit trois métriques sur chaque projet optimisé.
Pas par token, pas par requête. Une requête qui échoue et force un retry coûte deux fois plus cher. C'est la seule métrique qui reflète la réalité économique du projet.
Contre-intuitivement, optimiser les coûts améliore souvent la latence : les modèles légers répondent plus vite. Un utilisateur qui attend 5s relance sa requête, ce qui fait exploser les coûts.
Il doit rester stable ou s'améliorer. Si l'optimisation dégrade la qualité, on remonte d'un cran sur le routing. Pas de compromis sur ce point.
Ce qu'on retient
Les coûts LLM ne sont pas une fatalité. Routing et caching combinés génèrent 40 à 55% d'économies sur la plupart des projets. Ajoutez le context filtering et le batching côté client, et certains projets descendent à 80% d'économies par rapport à leur état initial.
La condition, c'est d'y penser dès la conception. Pas après le premier mois de facture en production.
Estimez vos coûts avant de construire
Notre calculateur de coûts LLM vous permet de simuler différents scénarios en quelques minutes, en comparant les principaux modèles du marché sur votre volume réel.
Accéder au calculateur gratuit