Rien, dans le code de retour d’un appel à un modèle de langage, ne dit si la réponse est juste. Une application d’IA générative peut répondre dans les délais, sans erreur technique, et se tromper. Elle peut aussi coûter davantage d’une semaine à l’autre, ou changer de comportement sans qu’une ligne de code ait bougé.
L’observabilité de l’IA générative ajoute donc aux traces, aux métriques et aux journaux d’une application cinq mesures : la latence, décomposée par opération ; le coût par demande ; la qualité des réponses, qui s’évalue ; le taux d’échec des appels d’outils ; la dérive. Chacune est rapportée ci-dessous à sa méthode de calcul, à son lecteur et à son angle mort.
Les noms de mesures cités viennent des conventions sémantiques pour l’IA générative du projet OpenTelemetry, lues le 12 novembre 2026 dans le dépôt semantic-conventions-genai, vers lequel renvoie le site opentelemetry.io. Elles y portent le statut « Development » : ces noms peuvent encore changer.
Latence et coût par demande se lisent dans la trace
Une demande adressée à une telle application se décompose en opérations : recherche de passages, un ou plusieurs appels au modèle, appels d’outils. La trace garde la durée de chacune.
La latence se relève de bout en bout, puis par opération. Pour un appel au modèle, les conventions distinguent la durée totale (gen_ai.client.inference.duration) et, lorsque la réponse est diffusée au fil de sa production, le délai avant le premier fragment (gen_ai.client.inference.time_to_first_chunk). Elle se lit en centiles plutôt qu’en moyenne, comme le rappelle notre fiche SLO, SLI et SLA. Le responsable de produit y lit l’attente de l’utilisateur, l’équipe d’exploitation l’opération qui la cause. La latence ne renseigne pas sur la justesse, et se compare mal entre des réponses de longueurs différentes : un refus bref est rapide.
Le coût par demande s’obtient, pour un modèle facturé à l’usage, en multipliant les jetons lus et les jetons produits par leurs prix respectifs, puis en additionnant tous les appels de la demande. Supposons une demande qui déclenche trois appels, chacun lisant 4 000 jetons et en produisant 500 : elle consomme 12 000 jetons d’entrée et 1 500 jetons de sortie, à valoriser au tarif du fournisseur. Les conventions prévoient des compteurs distincts pour les jetons d’entrée, de sortie et ceux servis depuis un cache.
Des outils de suivi font ce calcul. La documentation de Langfuse indique que le coût est soit transmis avec la réponse du modèle, soit déduit des jetons et d’une grille de prix par modèle ; celle de MLflow, que ses traces relèvent la latence et l’usage de jetons à chaque étape (pages consultées le même jour). Cette mesure sert à la personne qui tient le budget de l’application. Elle ignore le temps de relecture humaine, et sa moyenne peut masquer les demandes longues, où un agent enchaîne les appels.
La qualité des réponses passe par une évaluation
La qualité ne se lit ni dans une durée ni dans un compteur. Elle se note, selon des critères écrits : exactitude, fidélité aux sources, respect des consignes de refus. Trois façons de noter coexistent, chacune avec sa limite.
| Mode | Comment la mesure s’établit | Sa limite |
|---|---|---|
| Jeu de référence | Des demandes au résultat attendu fixé d’avance, rejouées à chaque changement ; on relève la part des cas conformes | Il ne dit rien des demandes qu’il ne contient pas |
| Notation par des personnes | Un échantillon d’échanges réels, relu par des experts du domaine avec une grille | Elle ne vaut que pour l’échantillon, et deux relecteurs peuvent diverger |
| Notation par un modèle | Un second modèle, dit juge, note chaque réponse selon une grille | L’accord du juge avec les experts reste inconnu tant qu’il n’a pas été mesuré |
La documentation de Langfuse présente ce dernier mode comme l’emploi d’un modèle pour apprécier les sorties d’une autre application, et recommande de vérifier le juge sur des exemples annotés avant de s’y fier. Celles de MLflow et de Phoenix (Arize) placent elles aussi des juges automatisés à côté d’autres modes : jeux d’évaluation et retours humains pour la première, évaluateurs écrits en code pour la seconde. Les conventions d’OpenTelemetry prévoient un événement, gen_ai.evaluation.result, qui rattache une note à l’opération évaluée.
Une note de qualité reste une appréciation. Elle dépend de la grille, de l’échantillon et, pour un juge, du modèle et de la consigne qui le font fonctionner. Elle sert au responsable de produit et aux experts du métier, qui décident avec elle d’une mise en service. Pour un assistant documentaire, la recherche et la rédaction se notent à part, comme le décrit notre page MLOps et LLMOps.
Appels d’outils en échec et dérive dans le temps
Le taux d’échec des appels d’outils rapporte, pour chaque outil et sur une période, les appels terminés en erreur aux appels émis. Les conventions décrivent un span par exécution d’outil (gen_ai.execute_tool), dont l’attribut error.type est renseigné lorsque l’opération se termine en erreur. La convention de calcul reste à écrire : compte-t-on les arguments invalides produits par le modèle, les résultats vides, les nouvelles tentatives ? L’équipe qui maintient l’outil et celle qui conçoit l’agent lisent ce taux ensemble. Un appel réussi au mauvais outil, ou avec des arguments valides mais erronés, n’y figure pas.
La dérive désigne ici le déplacement d’une mesure sans changement de code. Notre page MLOps et LLMOps en relève trois sources : les demandes des utilisateurs, le contenu documentaire, la version du modèle fourni. Elle se suit en rejouant le jeu de référence à intervalle fixe et à chaque changement de version, et en relevant la répartition des demandes réelles : sujets, longueur, part des refus. Notre fiche LLMOps en donne un exemple, le retrait annoncé d’une version de modèle. Le responsable de l’application y trouve le signal d’une enquête. La mesure constate un écart sans en donner la cause, et une note stable sur un jeu de référence vieilli ne renseigne pas sur des demandes nouvelles.
L’observabilité de l’IA générative peut conserver les mots des utilisateurs
Les traces d’une telle application peuvent contenir les demandes et les réponses en clair. Les conventions d’OpenTelemetry rangent les messages d’entrée et de sortie parmi les attributs facultatifs (« Opt-In ») et signalent qu’ils sont susceptibles de contenir des informations sensibles. Capturer ou non ces contenus, les masquer, fixer leur durée de conservation et leurs lecteurs : ces choix précèdent la collecte. Lorsque des données personnelles y figurent, ils se prennent avec le délégué à la protection des données, au regard des articles lus dans notre article RGPD et intelligence artificielle.
Cet article ne donne aucun seuil : un objectif se fixe pour chaque application, à partir d’un relevé de départ, selon la méthode de notre page SRE et observabilité. La latence et, par convention, la part des réponses notées conformes peuvent y devenir des indicateurs de niveau de service, avec leurs alertes. La conception de l’assistant lui-même relève de l’IA générative en entreprise.
Aucune de ces cinq mesures ne s’interprète seule. Un coût par demande en baisse peut venir de réponses plus courtes, donc d’une qualité à revérifier ; une latence en hausse, d’appels d’outils qui échouent puis recommencent. Chaque relevé de qualité porte enfin la version du modèle, de la consigne et de l’index sur lesquels il a été établi : après un changement, il décrit l’application d’avant.