Prenons une fédération sportive qui engage le dédoublonnage des données de ses licenciés : le fichier compte 20 000 fiches, saisies chaque saison par les clubs. Une même personne peut y figurer plusieurs fois : inscrite dans deux clubs successifs, enregistrée sous son nom d’usage puis sous son nom de naissance, ou saisie avec une faute de frappe.
Dédoublonner consiste à repérer les enregistrements qui désignent la même entité, à décider lesquels fusionner, puis à empêcher que les doublons reviennent. Nous proposons de conduire l’opération dans cet ordre : fixer le périmètre et la règle de rapprochement, normaliser les valeurs, détecter les paires candidates, faire arbitrer les cas douteux, fusionner selon une règle de survivance, prévenir à la saisie. Le risque à garder en vue est la fusion à tort de deux entités distinctes, qui se défait mal si les fiches d’origine n’ont pas été conservées.
Un dédoublonnage des données commence par un périmètre et une règle de rapprochement
Le périmètre dit quelle entité est dédoublonnée, dans quel fichier et pour quels usages. Dans l’hypothèse de départ, l’entité est la personne : deux licences prises la même saison dans deux disciplines restent deux licences, rattachées à une seule fiche.
La règle de rapprochement dit à quelles conditions deux fiches désignent la même entité. Elle sépare les attributs qui identifient (un numéro de licence national s’il existe, à défaut le nom, le prénom et la date de naissance pris ensemble) de ceux qui appuient sans prouver, parce qu’ils changent : adresse, courriel, club. Elle énumère d’avance les cas limites : homonymes nés le même jour, jumeaux à la même adresse, changement de nom.
Cette règle est une décision de métier. Elle revient au propriétaire de la donnée, rôle que décrit notre page gouvernance des données, et s’écrit avant tout traitement.
Lorsque les fiches décrivent des personnes physiques, le RGPD, règlement (UE) 2016/679, est à relire : son article 4, point 2), cite « le rapprochement ou l’interconnexion » parmi les opérations qui constituent un traitement. Nous conseillons d’associer dès cette étape le délégué à la protection des données, si l’organisation en a désigné un.
Lorsque les mêmes entités sont créées dans plusieurs applications, le sujet devient celui du master data management, que décrit notre fiche ; cet article s’en tient à un fichier.
Normaliser les valeurs avant de les comparer
Deux valeurs identiques pour un lecteur peuvent différer pour une machine : majuscules, accents, espaces, ponctuation, ordre du nom et du prénom, abréviations, formats de date ou de téléphone. La normalisation les ramène à une forme commune.
La documentation de l’outil OpenRefine décrit ainsi sa méthode « fingerprint » : suppression des espaces de début et de fin, passage en minuscules, retrait de la ponctuation, conversion des caractères accentués, tri des mots. « Cruise, Tom » et « Tom Cruise » reçoivent alors la même clé. Le même texte signale la contrepartie : la conversion des accents peut réunir deux noms distincts.
La valeur d’origine se conserve dans une colonne à part, la forme normalisée ne servant qu’à comparer. Les valeurs de remplissage, comme une date de naissance par défaut ou la mention « INCONNU », se neutralisent avant la comparaison, faute de quoi elles se rapprochent entre elles.
La détection combine égalité stricte, rapprochement approché et blocage
L’égalité stricte compare un identifiant fiable ou une clé normalisée. Elle expose peu aux rapprochements à tort et manque les variantes : deux lettres inversées séparent deux fiches.
Le rapprochement approché tolère un écart entre chaînes voisines. Il s’appuie sur le nombre de modifications qui séparent deux chaînes, ou sur une clé phonétique qui réunit des graphies prononcées de la même façon. La tolérance se règle : trop large, elle réunit des personnes distinctes.
Comparer chaque fiche à toutes les autres devient vite impraticable. Pour n fiches, le nombre de paires vaut n × (n - 1) / 2, soit 199 990 000 paires pour 20 000 fiches. Les clés de blocage limitent les comparaisons aux fiches qui partagent une valeur, par exemple l’année de naissance ou les premières lettres du nom. Plusieurs clés se succèdent, afin qu’une erreur sur l’une ne cache pas une paire.
Un score de similarité combine enfin les comparaisons, attribut par attribut. Deux seuils le découpent en trois zones : doublons tenus pour certains, cas à examiner, fiches distinctes. Ces seuils sont une convention propre à chaque fichier, réglée sur un échantillon de paires jugées à la main.
OpenRefine propose, d’après sa documentation, des méthodes par clé et des méthodes par distance, avec blocage. La bibliothèque Python Splink se présente, dans la sienne, comme un outil de rapprochement probabiliste d’enregistrements sans identifiant unique, où des règles de blocage réduisent le nombre de paires comparées. Ces deux exemples d’outils ne valent pas recommandation.
Les cas douteux reviennent à une personne désignée
Dans la zone intermédiaire, chaque paire reçoit la décision d’une personne qui connaît les données : l’intendant du fichier, ou le correspondant du club qui a saisi la fiche. Cette décision prend l’une de trois formes : même personne, personnes distinctes, indéterminé faute d’élément.
Les deux erreurs possibles n’ont pas le même coût. Un doublon laissé en place se compte et se reprend plus tard. Une fusion à tort mêle l’historique de deux personnes, et l’une d’elles perd sa fiche. Les seuils se placent donc du côté de la prudence, sur décision du propriétaire.
Chaque décision se consigne : une paire jugée distincte entre dans une liste d’exclusions, pour ne pas revenir à la détection suivante. Si les cas douteux dépassent ce que les arbitres peuvent traiter, la règle se retravaille, par l’ajout d’un attribut ou d’une clé.
La fusion suit une règle de survivance et garde sa trace
La règle de survivance, arrêtée elle aussi par le propriétaire, dit quelle valeur la fiche conservée retient pour chaque attribut : la plus récente pour une adresse, celle de la source jugée fiable pour une date de naissance, la valeur renseignée lorsque l’autre est vide.
La fusion rattache ensuite à la fiche conservée tout ce qui pointait vers les fiches absorbées : licences, résultats, paiements. Une table de correspondance relie anciens et nouveaux identifiants, pour les extractions et les systèmes en aval. Les fiches d’origine s’archivent pendant une durée fixée d’avance, afin qu’une fusion à tort puisse être défaite. Un essai sur une copie, avec comptage des objets rattachés avant et après, précède l’opération réelle.
Pour des données personnelles, l’article 5, paragraphe 1, point d), du RGPD demande des données « exactes et, si nécessaire, tenues à jour ». Nous en tirons une lecture, distincte du texte : une règle de survivance qui garde une adresse périmée, ou une fusion à tort, laisse une donnée inexacte dans le fichier. La durée d’archivage des fiches absorbées et la qualification de l’opération reviennent à l’organisation, avec son délégué.
Empêcher les doublons de se reformer à la saisie
Les doublons peuvent revenir si la saisie reste inchangée. La prévention reprend la règle de rapprochement au moment de la création : la recherche de fiches voisines s’exécute avant l’enregistrement, avec la même normalisation, et propose les fiches existantes. L’opérateur peut passer outre pour un homonyme, en indiquant son motif. Les imports de fichiers suivent le même contrôle.
Ce levier relève de l’application source : notre guide pour améliorer la qualité des données range la recherche de doublon parmi les règles de saisie. Notre page qualité des données en décrit le cadre : règles, contrôles et, lorsque plusieurs systèmes créent les mêmes entités, gestion des données de référence.
L’effet se mesure sur les fiches créées après la mise en place, par un taux de doublons calculé à part du stock, selon les conventions de notre article sur les indicateurs qualité des données.