Dans un système distribué, chaque service traversé par une demande consigne sa part de l’histoire, et rien ne relie ces fragments tant qu’aucun identifiant commun ne voyage avec la demande. Il manque le fil qui dit que cette erreur du service de paiement et cette lenteur de la passerelle appartiennent à la même commande.
L’observabilité des systèmes distribués se construit en posant ce fil, sur un parcours à la fois. La méthode suit un ordre : choisir un parcours et en dresser la carte, propager un contexte de trace d’un service à l’autre, produire des traces lisibles, y rattacher journaux et métriques, puis décider de ce que l’on conserve. Chaque étape produit un résultat vérifiable et a un responsable. Le standard ouvert OpenTelemetry et la recommandation Trace Context du W3C en fournissent le vocabulaire et les formats.
Un parcours, sa carte et ses propriétaires
Faut-il instrumenter, ou la supervision en place suffit-elle ? Notre article observabilité vs supervision traite cette question. Nous partons ici de la décision prise.
Le point de départ est un parcours dont la défaillance se voit : une commande, un virement, l’ouverture d’un dossier. Sa carte recense ce que traverse une demande, dans l’ordre : point d’entrée, services appelés de façon synchrone, files de messages, traitements différés, bases, interfaces de tiers. En face de chaque élément figurent l’équipe qui en répond, le langage employé et le protocole de chaque échange.
Cette carte fournit deux listes : les frontières que le contexte devra franchir, et les composants que personne ne peut instrumenter (progiciel, service d’un tiers). Le responsable de produit choisit le parcours. Un architecte ou l’équipe plateforme tient la carte.
Le contexte de trace doit franchir chaque frontière
Le traçage distribué repose sur la propagation : chaque appel sortant transmet au service suivant de quoi se rattacher à la même trace. La recommandation Trace Context du W3C, dans sa version du 23 novembre 2021, normalise cette transmission pour HTTP au moyen de deux en-têtes. Le premier, traceparent, réunit une version, l’identifiant de la trace, l’identifiant de l’opération appelante et un champ d’indicateurs : le seul que définit cette version signale que l’appelant a pu enregistrer la trace. Le second, tracestate, transporte des informations propres à chaque outil de traçage.
D’après sa documentation, OpenTelemetry emploie ces en-têtes dans son propagateur par défaut, et les bibliothèques d’instrumentation se chargent en principe de la propagation. Les ruptures se logent ailleurs. La recommandation demande à tout outil conforme de retransmettre au minimum les deux en-têtes, même lorsqu’il ne participe pas à la trace : un mandataire ou une passerelle qui les supprime coupe le fil. Une file de messages sort du champ du texte, défini pour HTTP, qui renvoie pour les autres protocoles à des extensions. Le contexte s’inscrit alors dans les métadonnées du message à l’émission et s’en extrait à la réception. Un traitement différé peut se relier à la trace d’origine par un lien entre les deux traces, que la documentation d’OpenTelemetry nomme span link.
Aux frontières de l’organisation, la documentation d’OpenTelemetry invite à la prudence : un contexte reçu d’une source non maîtrisée peut avoir été forgé, et un contexte envoyé à un tiers révèle des identifiants internes.
Le résultat se vérifie : une demande lancée au point d’entrée porte le même identifiant de trace dans le dernier service du parcours.
Des spans nommés et décrits de la même manière partout
Une trace est un arbre de spans, chacun représentant une opération : un nom, un parent, un début et une fin, des attributs, un statut. OpenTelemetry distingue en outre la nature du span (client, serveur, producteur, consommateur, interne), ce qui aide l’outil d’analyse à assembler les deux côtés d’un appel.
L’instrumentation sans modification du code fournit les spans des bibliothèques courantes. Elle renseigne, selon la documentation, sur ce qui se passe aux bords de l’application. L’intérieur s’ajoute par le code : les étapes métier du parcours et les attributs qui serviront à trier (type de client, canal, version).
Sans règles communes, ces traces ne se comparent pas d’un service à l’autre. Les conventions sémantiques d’OpenTelemetry proposent des noms d’attributs partagés. Chaque service déclare aussi son identité dans ses attributs de ressource : faute de configuration, les kits de développement donnent au nom du service la valeur unknown_service. Un statut d’erreur renseigné de façon cohérente servira ensuite à l’échantillonnage.
Cette étape livre, pour une demande, la suite de ses opérations avec leur durée et leur issue. Les conventions gagnent à être fournies par la plateforme interne, selon la logique de notre offre DevOps et platform engineering.
Journaux et métriques rattachés à la trace
La corrélation consiste à inscrire les identifiants de trace et de span là où ils manquent. Pour les journaux, le modèle de données d’OpenTelemetry prévoit ces deux champs dans chaque enregistrement, et ses kits de développement peuvent les renseigner automatiquement lorsqu’une trace est active. À la date de rédaction, la prise en charge des journaux y est stable pour certains langages et en développement pour d’autres : elle se contrôle pour chaque service de la carte.
Pour les métriques, le lien passe par les exemplars : une valeur enregistrée, à laquelle peut être associé l’identifiant de la trace en cours au moment de la mesure. Un point anormal sur un histogramme de temps de réponse peut ainsi conduire à une trace qui l’illustre. Encore faut-il que les trois signaux portent les mêmes attributs de ressource (service, version, environnement). Les métriques d’un cluster, détaillées dans notre article sur la supervision Kubernetes, se rattachent par ces mêmes attributs.
Il en sort un chemin de lecture : d’une métrique à une trace, d’un span aux journaux émis pendant son exécution.
Une règle d’échantillonnage écrite, au coût connu
Conserver chaque trace d’un parcours très fréquenté a un coût de stockage et de traitement. La documentation d’OpenTelemetry décrit deux familles de décision. L’échantillonnage en tête tranche au plus tôt, par exemple à partir de l’identifiant de trace et d’une proportion visée : sous cette forme, il est simple et garde des traces entières, mais ne peut pas garantir que les traces en erreur seront retenues. L’échantillonnage en queue tranche après avoir vu tout ou partie des spans : il permet de garder les erreurs et les demandes lentes, au prix d’un composant à état, qui stocke un volume important et doit lui-même être surveillé. Les deux peuvent se combiner.
La même documentation rappelle qu’un système qui produit peu de traces peut se dispenser d’échantillonner. La règle retenue s’écrit : ce qui est gardé à coup sûr, la proportion du reste, la durée de conservation, et qui peut la modifier.
Vérifier l’observabilité des systèmes distribués sur une demande réelle
| Étape | Ce qu’elle produit | Qui en répond |
|---|---|---|
| Carte du parcours | La liste des frontières à franchir et des composants non instrumentables | Responsable de produit, architecte |
| Propagation du contexte | Un même identifiant de trace du point d’entrée au dernier service | Chaque équipe, pour son service |
| Traces | Les opérations d’une demande, avec durée, issue et attributs communs | Équipes de développement |
| Corrélation | Le passage d’une métrique à une trace, puis aux journaux | Équipe plateforme |
| Échantillonnage | Une règle de conservation écrite et son coût | Équipe plateforme, responsable du budget |
Le contrôle se fait sur pièce. Prenez une demande en erreur de la veille et remontez de l’alerte à la trace, puis aux journaux du service fautif, en notant chaque endroit où il a fallu chercher à la main. Ces endroits désignent une frontière non franchie, un service sans nom ou un journal sans identifiant.
Des limites subsistent. Un composant non instrumenté n’apparaît que par la durée de l’appel qui lui est adressé. Les signaux transportent par ailleurs des données : la recommandation du W3C interdit aux outils de traçage de placer une information personnelle ou sensible dans traceparent et tracestate, et la documentation d’OpenTelemetry déconseille d’en mettre dans le baggage, ces paires clé-valeur propagées avec le contexte.
Une fois le premier parcours lisible de bout en bout, des objectifs de niveau de service peuvent s’appuyer sur ses signaux : c’est l’objet de notre offre SRE et observabilité. Le parcours suivant réutilise les conventions et la collecte, et seules ses frontières propres restent à instrumenter.