Définition de l’error budget, ou budget d’erreur
Un objectif de niveau de service fixé sous 100 % admet une part de défaillance. L’error budget, en français budget d’erreur, mesure cette part. Le « Site Reliability Workbook », que Google met en ligne (sre.google/workbook), le calcule par une soustraction : 100 % moins le SLO.
Le chapitre « Embracing Risk » du livre « Site Reliability Engineering » (sre.google/sre-book) le présente, en traduction, comme une mesure claire et objective (clear, objective metric) de la non-fiabilité permise à un service au cours d’un trimestre. Le SLO dont dépend ce calcul est défini dans notre fiche SLO, SLI et SLA.
Ce chapitre part d’une tension. L’équipe de développement est jugée sur le rythme de ses livraisons, l’équipe chargée de la fiabilité sur la stabilité du service : notre fiche sur le DevOps décrit ce cloisonnement. Le budget d’erreur leur donne un critère accepté à l’avance. Dans la boucle décrite par le chapitre, les mises en production se poursuivent tant qu’il en reste ; une fois dépensé, elles s’interrompent le temps de rendre le système plus robuste.
Calcul de l’error budget : un exemple en requêtes et en minutes
Soit le service de suivi de colis d’un transporteur, doté d’un SLO de 99,8 % de requêtes abouties sur une fenêtre glissante de 28 jours. Ces valeurs sont des hypothèses de calcul, non des valeurs conseillées.
- En proportion : 100 % moins 99,8 %, soit un budget de 0,2 %.
- En événements : pour 5 000 000 de requêtes reçues sur la fenêtre, 0,2 % représentent 10 000 requêtes en échec.
- En temps, à trafic constant : 28 jours comptent 40 320 minutes, dont 0,2 % font 80,64 minutes, soit environ 1 h 21 d’arrêt complet.
Un incident qui fait échouer 4 000 requêtes consomme donc 40 % du budget. Le Workbook nomme burn rate la vitesse de consommation : à 1, le budget est épuisé exactement à la fin de la fenêtre. Si le taux d’échec se maintenait à 2 %, dix fois le taux admis, le burn rate vaudrait 10 et le budget serait vidé en 2,8 jours.
La politique de budget d’erreur
Le budget n’arbitre rien sans une règle écrite (error budget policy). Selon le Workbook, elle précise les actions à mener lorsque le budget est consommé et qui les mène ; le responsable de produit, l’équipe de développement et l’équipe SRE l’approuvent. Faute d’un tel engagement, ajoute l’ouvrage, le respect du SLO reste un indicateur de suivi parmi d’autres.
L’exemple de politique publié en annexe du Workbook prévoit :
- le gel des changements et des mises en production jusqu’au retour du service dans son objectif, hors anomalies de la plus haute priorité et correctifs de sécurité ;
- une analyse post-incident dès qu’un seul incident consomme plus de 20 % du budget sur quatre semaines ;
- un recours hiérarchique en cas de désaccord sur le calcul ou sur les actions.
Le chapitre « Embracing Risk » évoque aussi des réponses graduées, comme ralentir les livraisons à l’approche de l’épuisement.
Error budget, SLO, RTO, satisfaction des utilisateurs : ne pas confondre
Budget d’erreur et SLO se déduisent l’un de l’autre : fixer l’objectif fixe le budget.
Le budget ne mesure pas la satisfaction des utilisateurs : le Workbook n’y voit qu’une approximation. Sur trente jours, une interruption de quatre heures, quatre interruptions d’une heure et un taux d’erreur constant de 0,5 % ne font probablement pas autant de mécontents ; le budget les compte pourtant de la même façon.
Le temps maximal de reprise après un sinistre se fixe ailleurs, par le RTO de notre fiche RTO RPO.
Le budget n’est pas davantage une sanction : l’exemple de politique du Workbook précise ne pas avoir vocation à punir un objectif manqué. Les autres pratiques de la discipline figurent dans notre fiche SRE.
Pour l’écriture de cette politique avec les métiers et la technique, puis l’alignement des alertes sur la consommation du budget, voir notre page SRE et observabilité.