Pourquoi la qualité logicielle se dégrade malgré les tests
Peu d’organisations manquent de tests. Beaucoup constatent pourtant que la qualité logicielle ne progresse pas : les recettes s’allongent, les incidents de production persistent, et chaque livraison reste une épreuve. La contradiction n’est qu’apparente. Ce n’est pas la quantité de tests qui fait défaut, c’est leur place et leur nature.
Quatre situations reviennent. Les tests sont concentrés en fin de cycle, dans une recette manuelle que la pression du calendrier finit souvent par raccourcir. L’automatisation a porté sur l’interface utilisateur, ce qui produit des suites lentes, fragiles, dont les échecs sont souvent de fausses alertes. Ces tests instables sont relancés ou ignorés, et l’équipe cesse de croire au signal rouge. Enfin, la qualité est tenue pour l’affaire d’une équipe de test distincte, qui reçoit le logiciel une fois écrit.
Le résultat est un retour d’information tardif. Un défaut introduit un lundi est découvert plusieurs semaines après, par quelqu’un d’autre, dans un contexte que le développeur a oublié. Toute démarche de qualité logicielle vise d’abord à raccourcir ce délai.
Ce que recouvre la qualité logicielle : dimensions et niveaux de test
La qualité d’un logiciel ne se réduit pas à sa conformité fonctionnelle. La norme ISO/IEC 25010 décrit un modèle de qualité du produit logiciel qui distingue, entre autres, la fiabilité, la performance, la sécurité, la compatibilité et la maintenabilité. Une stratégie de test sérieuse dit, pour chacune des dimensions qui comptent dans votre contexte, comment elle est vérifiée.
Pour la dimension fonctionnelle, la pyramide des tests donne le principe de répartition.
| Niveau | Ce qu’il vérifie | Caractéristiques | Place dans l’ensemble |
|---|---|---|---|
| Tests unitaires | Une unité de code isolée de ses dépendances | Très rapides, précis sur la cause d’un échec | La base, la plus large |
| Tests d’intégration et de contrat | La collaboration entre composants, les API, l’accès aux données | Plus lents, demandent un environnement partiel | Le milieu |
| Tests de bout en bout | Un parcours complet à travers l’interface | Lents, sensibles aux changements d’écran et aux environnements | Le sommet, étroit |
La pyramide n’est pas une règle de proportion à appliquer mécaniquement. Elle exprime une logique économique : plus un test est haut, plus il coûte à écrire, à exécuter et à maintenir, et moins il aide à localiser la cause d’un échec. Les tests de bout en bout restent nécessaires, mais pour un petit nombre de parcours dont la défaillance serait grave.
Notre approche : une stratégie de test fondée sur le risque
Nos consultants travaillent au sein de vos équipes ; les décisions restent les vôtres.
Partir des risques, pas des outils. Nous établissons avec le métier et l’exploitation ce qui serait grave : un calcul faux, une indisponibilité à une période critique, une fuite de données, une lenteur qui fait abandonner l’utilisateur. Chaque risque est affecté au niveau de test le plus bas capable de le détecter. La stratégie qui en résulte tient en quelques pages et précise les critères de mise en production.
Automatiser dans le bon ordre. L’automatisation commence là où elle est stable et rentable : règles de gestion, API, contrats d’interface. Les parcours de bout en bout viennent ensuite, en nombre limité. Deux sujets conditionnent la réussite et sont traités dès le départ : la disponibilité des environnements et la fabrication de données de test maîtrisées.
Installer la qualité continue. Chaque modification du code déclenche une série de contrôles : compilation, analyse statique, tests automatisés, vérification des dépendances. Des seuils bloquants empêchent d’intégrer une modification qui dégrade l’existant. Ce dispositif s’appuie sur la chaîne de livraison décrite dans notre page DevOps et platform engineering. Il ne vaut que si le retour est rapide : une suite qui dure des heures n’est plus consultée.
Rendre l’équipe propriétaire de la qualité. Les développeurs écrivent et maintiennent les tests de leur code. Les spécialistes du test apportent la méthode, conçoivent les cas difficiles et mènent les tests exploratoires. La revue de code entre pairs complète les contrôles automatiques.
Performance et sécurité : des tests à part entière
Ces deux dimensions sont souvent reportées, alors que leurs défauts coûtent cher une fois en production.
Les tests de performance répondent à trois questions distinctes. Le test de charge vérifie que l’application tient le trafic attendu. Le test de stress cherche le point de rupture et observe la manière dont le système se dégrade. Le test d’endurance révèle les défauts qui n’apparaissent qu’avec le temps, comme une consommation de mémoire qui croît sans fin. Aucun n’a de sens sans objectif explicite : nous les rattachons aux objectifs de niveau de service définis avec l’exploitation, selon la démarche présentée dans notre page SRE et observabilité.
Les tests de sécurité combinent plusieurs techniques complémentaires : analyse statique du code source, analyse dynamique de l’application en fonctionnement, analyse des composants tiers pour y repérer les vulnérabilités connues, et tests d’intrusion menés par des spécialistes. Les trois premières s’automatisent dans la chaîne de livraison. Pour les entités financières qui y sont soumises, le règlement DORA, règlement (UE) 2022/2554, consacre un chapitre aux tests de résilience opérationnelle numérique : la stratégie de test doit alors s’articuler avec le programme de tests exigé par ce texte.
L’IA pour assister les tests : usages et limites
L’IA générative trouve dans le test plusieurs usages concrets : proposer des cas de test à partir d’une spécification, y compris des cas limites auxquels l’équipe n’avait pas pensé, fabriquer des données de test synthétiques, expliquer un échec à partir des journaux, ou aider à adapter des scripts après un changement d’interface. Des agents IA peuvent aussi parcourir une application pour en explorer les écrans.
Ces usages ont trois limites, que nous posons dès le cadrage. La première tient à la référence : un modèle qui écrit des tests à partir du code vérifie que le code fait ce qu’il fait, pas ce qu’il devrait faire. La deuxième est le faux sentiment de sécurité que donne un grand nombre de tests générés et peu relus. La troisième concerne la confidentialité du code et des données transmis au modèle.
Nous ne promettons donc aucun gain chiffré. Le bénéfice dépend de la qualité des spécifications, de la discipline de relecture et du périmètre retenu. Il se mesure sur un essai limité avant toute généralisation.
Les fausses bonnes idées en matière de tests
- Automatiser la recette manuelle telle quelle. Transposer des scénarios manuels en scripts d’interface donne la suite la plus coûteuse à maintenir. Il faut d’abord redescendre les vérifications au bon niveau.
- Piloter par le taux de couverture. Un objectif chiffré de couverture produit des tests écrits pour le chiffre, qui exécutent le code sans rien vérifier.
- Tolérer les tests instables. Un test qui échoue sans raison est corrigé ou supprimé. Le laisser en place apprend à l’équipe à ignorer les échecs.
- Reporter la performance et la sécurité à la fin. Les défauts découverts à ce stade touchent souvent à l’architecture et se corrigent alors à un coût élevé.
Les indicateurs d’une qualité qui progresse
Nous retenons avec vous un petit nombre de mesures, suivies dans la durée et sans valeur cible fixée a priori.
- Les défauts échappés. La part des défauts découverts en production par rapport à ceux détectés avant. C’est la mesure la plus directe de l’efficacité des tests.
- L’échec des changements. La part des mises en production suivies d’un incident, d’un correctif urgent ou d’un retour arrière.
- Le délai de retour. Le temps entre une modification du code et le verdict des contrôles automatisés.
- La fiabilité des tests. La part des échecs de test qui ne correspondent à aucun défaut réel.
- Le traitement des vulnérabilités. Le délai entre la détection d’une vulnérabilité connue et sa correction.
Ces indicateurs se lisent ensemble. Un délai de retour qui raccourcit pendant que les défauts échappés augmentent signale des tests supprimés plutôt que réparés. C’est leur évolution conjointe, examinée régulièrement avec l’équipe, qui dit si la qualité logicielle s’améliore réellement.