Aller au contenu
Cabinet d'expertise en transformation technologique · ARDIANE Group Innover, sécuriser, réussir

Cloud et plateformes

L'observabilité de l'IA générative ajoute à la latence le coût, la qualité des réponses et la dérive

L'essentiel

L'observabilité de l'IA générative désigne les mesures relevées sur une application fondée sur un modèle de langage en production : latence, coût par demande, qualité des réponses évaluée, taux d'échec des appels d'outils, dérive. Management Square expose ici la manière d'établir chaque mesure, le lecteur qu'elle sert et l'angle mort qu'elle laisse.

Sommaire de la page

Rien, dans le code de retour d’un appel à un modèle de langage, ne dit si la réponse est juste. Une application d’IA générative peut répondre dans les délais, sans erreur technique, et se tromper. Elle peut aussi coûter davantage d’une semaine à l’autre, ou changer de comportement sans qu’une ligne de code ait bougé.

L’observabilité de l’IA générative ajoute donc aux traces, aux métriques et aux journaux d’une application cinq mesures : la latence, décomposée par opération ; le coût par demande ; la qualité des réponses, qui s’évalue ; le taux d’échec des appels d’outils ; la dérive. Chacune est rapportée ci-dessous à sa méthode de calcul, à son lecteur et à son angle mort.

Les noms de mesures cités viennent des conventions sémantiques pour l’IA générative du projet OpenTelemetry, lues le 12 novembre 2026 dans le dépôt semantic-conventions-genai, vers lequel renvoie le site opentelemetry.io. Elles y portent le statut « Development » : ces noms peuvent encore changer.

Latence et coût par demande se lisent dans la trace

Une demande adressée à une telle application se décompose en opérations : recherche de passages, un ou plusieurs appels au modèle, appels d’outils. La trace garde la durée de chacune.

La latence se relève de bout en bout, puis par opération. Pour un appel au modèle, les conventions distinguent la durée totale (gen_ai.client.inference.duration) et, lorsque la réponse est diffusée au fil de sa production, le délai avant le premier fragment (gen_ai.client.inference.time_to_first_chunk). Elle se lit en centiles plutôt qu’en moyenne, comme le rappelle notre fiche SLO, SLI et SLA. Le responsable de produit y lit l’attente de l’utilisateur, l’équipe d’exploitation l’opération qui la cause. La latence ne renseigne pas sur la justesse, et se compare mal entre des réponses de longueurs différentes : un refus bref est rapide.

Le coût par demande s’obtient, pour un modèle facturé à l’usage, en multipliant les jetons lus et les jetons produits par leurs prix respectifs, puis en additionnant tous les appels de la demande. Supposons une demande qui déclenche trois appels, chacun lisant 4 000 jetons et en produisant 500 : elle consomme 12 000 jetons d’entrée et 1 500 jetons de sortie, à valoriser au tarif du fournisseur. Les conventions prévoient des compteurs distincts pour les jetons d’entrée, de sortie et ceux servis depuis un cache.

Des outils de suivi font ce calcul. La documentation de Langfuse indique que le coût est soit transmis avec la réponse du modèle, soit déduit des jetons et d’une grille de prix par modèle ; celle de MLflow, que ses traces relèvent la latence et l’usage de jetons à chaque étape (pages consultées le même jour). Cette mesure sert à la personne qui tient le budget de l’application. Elle ignore le temps de relecture humaine, et sa moyenne peut masquer les demandes longues, où un agent enchaîne les appels.

La qualité des réponses passe par une évaluation

La qualité ne se lit ni dans une durée ni dans un compteur. Elle se note, selon des critères écrits : exactitude, fidélité aux sources, respect des consignes de refus. Trois façons de noter coexistent, chacune avec sa limite.

Mode Comment la mesure s’établit Sa limite
Jeu de référence Des demandes au résultat attendu fixé d’avance, rejouées à chaque changement ; on relève la part des cas conformes Il ne dit rien des demandes qu’il ne contient pas
Notation par des personnes Un échantillon d’échanges réels, relu par des experts du domaine avec une grille Elle ne vaut que pour l’échantillon, et deux relecteurs peuvent diverger
Notation par un modèle Un second modèle, dit juge, note chaque réponse selon une grille L’accord du juge avec les experts reste inconnu tant qu’il n’a pas été mesuré

La documentation de Langfuse présente ce dernier mode comme l’emploi d’un modèle pour apprécier les sorties d’une autre application, et recommande de vérifier le juge sur des exemples annotés avant de s’y fier. Celles de MLflow et de Phoenix (Arize) placent elles aussi des juges automatisés à côté d’autres modes : jeux d’évaluation et retours humains pour la première, évaluateurs écrits en code pour la seconde. Les conventions d’OpenTelemetry prévoient un événement, gen_ai.evaluation.result, qui rattache une note à l’opération évaluée.

Une note de qualité reste une appréciation. Elle dépend de la grille, de l’échantillon et, pour un juge, du modèle et de la consigne qui le font fonctionner. Elle sert au responsable de produit et aux experts du métier, qui décident avec elle d’une mise en service. Pour un assistant documentaire, la recherche et la rédaction se notent à part, comme le décrit notre page MLOps et LLMOps.

Appels d’outils en échec et dérive dans le temps

Le taux d’échec des appels d’outils rapporte, pour chaque outil et sur une période, les appels terminés en erreur aux appels émis. Les conventions décrivent un span par exécution d’outil (gen_ai.execute_tool), dont l’attribut error.type est renseigné lorsque l’opération se termine en erreur. La convention de calcul reste à écrire : compte-t-on les arguments invalides produits par le modèle, les résultats vides, les nouvelles tentatives ? L’équipe qui maintient l’outil et celle qui conçoit l’agent lisent ce taux ensemble. Un appel réussi au mauvais outil, ou avec des arguments valides mais erronés, n’y figure pas.

La dérive désigne ici le déplacement d’une mesure sans changement de code. Notre page MLOps et LLMOps en relève trois sources : les demandes des utilisateurs, le contenu documentaire, la version du modèle fourni. Elle se suit en rejouant le jeu de référence à intervalle fixe et à chaque changement de version, et en relevant la répartition des demandes réelles : sujets, longueur, part des refus. Notre fiche LLMOps en donne un exemple, le retrait annoncé d’une version de modèle. Le responsable de l’application y trouve le signal d’une enquête. La mesure constate un écart sans en donner la cause, et une note stable sur un jeu de référence vieilli ne renseigne pas sur des demandes nouvelles.

L’observabilité de l’IA générative peut conserver les mots des utilisateurs

Les traces d’une telle application peuvent contenir les demandes et les réponses en clair. Les conventions d’OpenTelemetry rangent les messages d’entrée et de sortie parmi les attributs facultatifs (« Opt-In ») et signalent qu’ils sont susceptibles de contenir des informations sensibles. Capturer ou non ces contenus, les masquer, fixer leur durée de conservation et leurs lecteurs : ces choix précèdent la collecte. Lorsque des données personnelles y figurent, ils se prennent avec le délégué à la protection des données, au regard des articles lus dans notre article RGPD et intelligence artificielle.

Cet article ne donne aucun seuil : un objectif se fixe pour chaque application, à partir d’un relevé de départ, selon la méthode de notre page SRE et observabilité. La latence et, par convention, la part des réponses notées conformes peuvent y devenir des indicateurs de niveau de service, avec leurs alertes. La conception de l’assistant lui-même relève de l’IA générative en entreprise.

Aucune de ces cinq mesures ne s’interprète seule. Un coût par demande en baisse peut venir de réponses plus courtes, donc d’une qualité à revérifier ; une latence en hausse, d’appels d’outils qui échouent puis recommencent. Chaque relevé de qualité porte enfin la version du modèle, de la consigne et de l’index sur lesquels il a été établi : après un changement, il décrit l’application d’avant.

Insights

À lire sur le sujet

Tous les insights
Engager une démarche de numérique responsable en entreprise, étape par étape

Une démarche de numérique responsable en entreprise mesure d'abord l'empreinte environnementale de ses équipements et services, puis agit sur leur durée de vie, leur conception, leur hébergement et leurs achats avant d'en rendre compte. Management Square propose cet ordre et indique ce que livre chaque étape, en s'appuyant sur la loi REEN et le RGESN.

Lire l'analyse
Les meilleures pratiques de résilience cyber, jugées sur ce qu'un essai a prouvé

Pour Management Square, les meilleures pratiques de résilience cyber sont celles qu'un essai a éprouvées : sauvegardes réellement restaurées, plans de continuité et de reprise joués, dépendances connues jusqu'aux prestataires, décisions de crise préparées. L'article propose un diagnostic en temps calme : les signes qui séparent une résilience éprouvée d'une résilience déclarée, et ce que chaque écart appelle.

Lire l'analyse
De quoi et de qui dépend-on ? La souveraineté numérique de l'entreprise devant son comité de direction

La souveraineté numérique d'une entreprise est une expression d'usage : Management Square propose de l'entendre comme la capacité à décider de ses dépendances numériques (infrastructures, logiciels, données, compétences, fournisseurs). L'article suit les questions d'un comité de direction : de quoi et de qui l'activité dépend, ce qui resterait si une dépendance cessait, ce qu'il faut protéger d'abord, à quel coût.

Lire l'analyse

FAQ

Questions fréquentes

Une autre question ? Posez-la-nous

Quelle différence entre l'observabilité de l'IA générative et celle d'une application classique ?

Les signaux de départ sont les mêmes : traces, métriques et journaux. Une application d'IA générative y ajoute des mesures que ces signaux ne portent pas d'eux-mêmes : le coût de chaque demande, compté en jetons, la qualité des réponses, qui demande une évaluation, le taux d'échec des appels d'outils et la dérive du comportement sans changement de code. Une réponse peut en effet arriver dans les délais, sans erreur technique, et être fausse.

Comment calculer le coût par demande d'une application d'IA générative ?

Pour un modèle facturé à l'usage, le coût d'un appel est la somme des jetons lus multipliés par leur prix et des jetons produits multipliés par le leur. Le coût d'une demande additionne tous les appels qu'elle déclenche : une demande qui provoque trois appels de 4 000 jetons lus et 500 jetons produits consomme 12 000 jetons d'entrée et 1 500 jetons de sortie. La convention retenue précise si elle inclut les appels d'évaluation, le calcul des plongements et les nouvelles tentatives.

Peut-on confier l'évaluation de la qualité des réponses à un autre modèle ?

Oui, à condition d'en connaître la limite. Un modèle employé comme juge note chaque réponse selon une grille, ce qui permet de noter un volume d'échanges plus large qu'une relecture humaine. Sa note dépend de la grille, de la consigne et du modèle qui le font fonctionner : elle se vérifie sur des exemples annotés par des experts, et de nouveau lorsque le modèle juge change. Elle complète un jeu de référence et une relecture humaine sur échantillon.

Un projet à faire aboutir ?

Un premier échange suffit pour situer votre enjeu, identifier les bons interlocuteurs et vous dire franchement ce que nous pouvons apporter.