Aller au contenu
Cabinet d'expertise en transformation technologique · ARDIANE Group Innover, sécuriser, réussir

Lexique

Mutation testing : définition, mutants, score de mutation et limites

Domaine

Ingénierie

L'essentiel

Le mutation testing, ou test de mutation, est une technique d'évaluation d'une suite de tests automatisés : un outil introduit de petites fautes dans le code, une à la fois, et vérifie qu'au moins un test échoue pour chacune. La part des fautes détectées, appelée score de mutation, renseigne sur la capacité des tests à repérer un défaut, ce que la couverture de code ne mesure pas.

Sommaire de la page

Le point aveugle de la couverture de code

Une suite de tests peut exécuter chaque ligne d’un programme sans rien vérifier de ce qu’elle produit. Le mutation testing part de cette faiblesse. La documentation de PIT, outil de mutation testing pour Java et la JVM (pitest.org), la formule ainsi : la couverture classique, par lignes, instructions ou branches, mesure seulement quel code les tests exécutent, et non leur capacité à y détecter une faute. Elle ne désigne donc avec certitude que le code qui n’est pas testé.

Définition du mutation testing

Le mutation testing, que l’on peut traduire par test de mutation, est une technique d’évaluation d’une suite de tests. Un outil introduit automatiquement de petites fautes dans le code de l’application, une à la fois, puis relance les tests sur chaque version modifiée. Si un test échoue, la faute a été détectée. Si tous réussissent, la suite a laissé passer un changement de comportement.

Cette description est commune aux documentations de PIT et de Stryker (stryker-mutator.io), outil décliné pour JavaScript et TypeScript, C# et Scala, lues le 12 novembre 2026.

Mutant tué, survivant, équivalent : le vocabulaire et le score

  • Mutant : version du code qui porte une faute introduite par l’outil.
  • Opérateur de mutation (mutator) : règle de transformation. PIT cite le remplacement de >= par >, l’inversion d’une condition, la suppression d’un appel de méthode ou la modification d’une valeur de retour.
  • Mutant tué (killed) : au moins un test échoue en sa présence.
  • Mutant survivant (survived) : tous les tests réussissent. Les deux outils signalent à part le cas où aucun test n’exécute la ligne modifiée (no coverage).
  • Mutant équivalent : son comportement ne diffère pas de celui du code d’origine, et aucun test ne peut le tuer. La documentation de Stryker indique que l’outil n’a pas de moyen sûr de le repérer.
  • Score de mutation (mutation score) : part des mutants détectés. Stryker divise les mutants détectés, tués ou interrompus par un dépassement de délai, par les mutants valides, hors erreurs de compilation et d’exécution.

Exemple : la demi-heure offerte d’un loueur de vélos

Supposons un loueur de vélos dont le tarif offre la première demi-heure : le code renvoie zéro si la durée est inférieure ou égale à trente minutes. Deux tests, pour dix minutes et pour une heure, exécutent toutes les lignes du calcul. L’outil remplace « inférieure ou égale » par « strictement inférieure » : les deux tests réussissent encore, le mutant survit. Le cas de trente minutes exactement n’était pas testé.

Poursuivons avec des chiffres posés par hypothèse. Sur 20 mutants valides, 16 sont détectés : le score est de 16 / 20, soit 80 %. Le test ajouté tue un mutant de plus : 17 / 20, soit 85 %. Si l’un des trois survivants restants est équivalent et reste compté, le score ne dépassera pas 19 / 20, soit 95 %.

Mutation testing, couverture de code, niveaux de test : ne pas confondre

La couverture de code dit quelles lignes les tests exécutent. Le score de mutation dit si une faute introduite dans ces lignes fait échouer un test. Les rapports de PIT présentent les deux mesures côte à côte.

Le mutation testing n’est pas un niveau de test de plus. Il ne s’ajoute pas aux étages de la pyramide des tests : il évalue les tests qui s’y trouvent, à commencer par les tests unitaires, que PIT rejoue contre les mutants. Il renseigne sur le filet de tests que suppose un refactoring.

Il ne dit pas non plus si le comportement vérifié est celui que le métier attend, question que traitent les exemples discutés en behavior driven development.

Reste le coût. La documentation de PIT qualifie la technique de coûteuse en calcul et conseille de borner l’analyse au code en cours de modification.

Pris pour objectif, un score de mutation peut lui aussi susciter des tests écrits pour le chiffre : notre page qualité logicielle et tests explique pourquoi le taux de couverture s’y lit comme un signal.

FAQ

Questions fréquentes

Une autre question ? Posez-la-nous

En quoi consiste le mutation testing ?

Le mutation testing consiste à introduire automatiquement de petites fautes dans le code d'une application, puis à relancer les tests sur chaque version modifiée, appelée mutant. Un mutant est dit tué si au moins un test échoue, survivant si tous les tests réussissent. Cette description se lit dans les documentations de deux outils, PIT pour Java et Stryker pour JavaScript, C# et Scala.

Comment se calcule le score de mutation ?

Le score de mutation rapporte les mutants détectés par les tests au nombre de mutants pris en compte. La documentation de Stryker le calcule en divisant les mutants détectés, tués ou interrompus par un dépassement de délai, par les mutants valides, c'est-à-dire ceux qui n'ont provoqué ni erreur de compilation ni erreur d'exécution. Le même outil publie un second score, restreint au code couvert par les tests : la convention retenue est à préciser avant de comparer deux chiffres.

Qu'est-ce qu'un mutant équivalent ?

Un mutant équivalent est une version modifiée du code dont le comportement ne diffère pas de celui du code d'origine, si bien qu'aucun test ne peut la faire échouer. La documentation de Stryker indique que l'outil n'a pas de moyen sûr de repérer ces mutants équivalents. Elle laisse deux issues : les chercher à la main et réécrire le code concerné, ou accepter un score de mutation inférieur à 100 %.

Mutation testing et couverture de code mesurent-ils la même chose ?

Le mutation testing et la couverture de code mesurent deux choses distinctes. Selon la documentation de PIT, la couverture de code indique seulement quel code les tests exécutent, sans dire si ces tests détecteraient une faute dans ce code. Le mutation testing introduit des fautes et observe si un test échoue. Un code entièrement couvert peut donc laisser survivre des mutants.

Pourquoi le mutation testing est-il long à exécuter ?

Le mutation testing est long à exécuter parce que des tests sont rejoués pour chaque mutant produit. La documentation de PIT parle d'un processus coûteux en calcul, dont la durée dépend de la taille du code ainsi que de la qualité et de la rapidité de la suite de tests. Elle conseille de limiter l'analyse au code en cours de modification.

Un projet à faire aboutir ?

Un premier échange suffit pour situer votre enjeu, identifier les bons interlocuteurs et vous dire franchement ce que nous pouvons apporter.