Le point aveugle de la couverture de code
Une suite de tests peut exécuter chaque ligne d’un programme sans rien vérifier de ce qu’elle produit. Le mutation testing part de cette faiblesse. La documentation de PIT, outil de mutation testing pour Java et la JVM (pitest.org), la formule ainsi : la couverture classique, par lignes, instructions ou branches, mesure seulement quel code les tests exécutent, et non leur capacité à y détecter une faute. Elle ne désigne donc avec certitude que le code qui n’est pas testé.
Définition du mutation testing
Le mutation testing, que l’on peut traduire par test de mutation, est une technique d’évaluation d’une suite de tests. Un outil introduit automatiquement de petites fautes dans le code de l’application, une à la fois, puis relance les tests sur chaque version modifiée. Si un test échoue, la faute a été détectée. Si tous réussissent, la suite a laissé passer un changement de comportement.
Cette description est commune aux documentations de PIT et de Stryker (stryker-mutator.io), outil décliné pour JavaScript et TypeScript, C# et Scala, lues le 12 novembre 2026.
Mutant tué, survivant, équivalent : le vocabulaire et le score
- Mutant : version du code qui porte une faute introduite par l’outil.
- Opérateur de mutation (mutator) : règle de transformation. PIT cite le remplacement de
>=par>, l’inversion d’une condition, la suppression d’un appel de méthode ou la modification d’une valeur de retour. - Mutant tué (killed) : au moins un test échoue en sa présence.
- Mutant survivant (survived) : tous les tests réussissent. Les deux outils signalent à part le cas où aucun test n’exécute la ligne modifiée (no coverage).
- Mutant équivalent : son comportement ne diffère pas de celui du code d’origine, et aucun test ne peut le tuer. La documentation de Stryker indique que l’outil n’a pas de moyen sûr de le repérer.
- Score de mutation (mutation score) : part des mutants détectés. Stryker divise les mutants détectés, tués ou interrompus par un dépassement de délai, par les mutants valides, hors erreurs de compilation et d’exécution.
Exemple : la demi-heure offerte d’un loueur de vélos
Supposons un loueur de vélos dont le tarif offre la première demi-heure : le code renvoie zéro si la durée est inférieure ou égale à trente minutes. Deux tests, pour dix minutes et pour une heure, exécutent toutes les lignes du calcul. L’outil remplace « inférieure ou égale » par « strictement inférieure » : les deux tests réussissent encore, le mutant survit. Le cas de trente minutes exactement n’était pas testé.
Poursuivons avec des chiffres posés par hypothèse. Sur 20 mutants valides, 16 sont détectés : le score est de 16 / 20, soit 80 %. Le test ajouté tue un mutant de plus : 17 / 20, soit 85 %. Si l’un des trois survivants restants est équivalent et reste compté, le score ne dépassera pas 19 / 20, soit 95 %.
Mutation testing, couverture de code, niveaux de test : ne pas confondre
La couverture de code dit quelles lignes les tests exécutent. Le score de mutation dit si une faute introduite dans ces lignes fait échouer un test. Les rapports de PIT présentent les deux mesures côte à côte.
Le mutation testing n’est pas un niveau de test de plus. Il ne s’ajoute pas aux étages de la pyramide des tests : il évalue les tests qui s’y trouvent, à commencer par les tests unitaires, que PIT rejoue contre les mutants. Il renseigne sur le filet de tests que suppose un refactoring.
Il ne dit pas non plus si le comportement vérifié est celui que le métier attend, question que traitent les exemples discutés en behavior driven development.
Reste le coût. La documentation de PIT qualifie la technique de coûteuse en calcul et conseille de borner l’analyse au code en cours de modification.
Pris pour objectif, un score de mutation peut lui aussi susciter des tests écrits pour le chiffre : notre page qualité logicielle et tests explique pourquoi le taux de couverture s’y lit comme un signal.