Du prototype au service : là où les modèles s’arrêtent
Deux situations reviennent. Dans la première, le modèle obtient de bons résultats sur son jeu de test, la démonstration a convaincu, et rien n’est en production. Dans la seconde, le modèle est en service, déployé à la main par la personne qui l’a conçu, et nul ne sait dire s’il fonctionne encore correctement. Le MLOps répond à l’une comme à l’autre.
L’écart entre prototype et service tient à la nature d’un modèle. Son comportement dépend de trois éléments qui évoluent séparément : le code, les données d’entraînement et les paramètres. Il peut se dégrader sans qu’une seule ligne de code change, parce que la réalité qu’il décrit a bougé. Et sa performance réelle n’est souvent connue qu’avec retard, lorsque la prédiction peut enfin être comparée à ce qui s’est produit.
Les applications fondées sur des modèles de langage ajoutent leurs propres difficultés. Leurs sorties varient d’un appel à l’autre, il n’existe pas une bonne réponse unique à vérifier, et le modèle est le plus souvent fourni par un tiers qui en fait évoluer les versions.
MLOps et LLMOps : un socle commun, des différences réelles
Les deux disciplines partagent la même exigence : tracer, tester, surveiller. Elles diffèrent sur les objets manipulés.
| Sujet | MLOps (modèles prédictifs) | LLMOps (modèles de langage) |
|---|---|---|
| Ce qui est versionné | Code, données d’entraînement, paramètres, modèle entraîné | Prompts, configuration du modèle, base documentaire et index, modèle ajusté s’il y en a un |
| Évaluation | Métriques calculées sur un jeu de test étiqueté | Jeu de cas de référence, critères multiples, part de jugement humain |
| Ce qui dérive | Les données d’entrée, la relation entre entrées et résultat | Les demandes des utilisateurs, le contenu documentaire, la version du modèle fourni |
| Coût dominant | Entraînement et hébergement | Usage, proportionnel aux volumes de texte traités |
| Risques propres | Biais, dégradation silencieuse | Réponses inventées, injection d’instructions, divulgation d’informations |
Pour une présentation générale de la discipline, consultez notre fiche de lexique sur la définition du MLOps.
Versionner, déployer, surveiller : la chaîne à mettre en place
Versionner et tracer. Tout modèle en production doit pouvoir être reconstruit : version du code, jeu de données, paramètres, résultats d’évaluation. Un registre de modèles, tenu dans un outil tel que MLflow, indique quelle version sert quel usage et qui l’a validée. Une fiche de modèle décrit l’usage prévu, les données employées et les limites connues.
Déployer sans rupture. La mise en production passe par une chaîne automatisée : tests, validation par rapport à un seuil de performance, promotion entre environnements. Deux techniques limitent le risque. Le déploiement fantôme soumet le nouveau modèle aux demandes réelles sans utiliser ses réponses. Le déploiement progressif ne lui confie d’abord qu’une fraction des demandes. Dans les deux cas, le retour à la version précédente est préparé à l’avance. Ces mécanismes prolongent les pratiques du DevOps et du platform engineering.
Surveiller la dérive. La dérive des données apparaît lorsque les entrées reçues s’écartent de celles de l’entraînement. La dérive de concept apparaît lorsque la relation entre les entrées et le résultat change. La surveillance porte donc sur trois niveaux : le service (latence, erreurs), les distributions des entrées et des prédictions, puis la performance réelle dès que le résultat observé est disponible.
Réagir. Une alerte sans action associée est inutile. Chaque seuil renvoie à une conduite : enquête, réentraînement, retour arrière. Le réentraînement peut être automatisé, mais la mise en service du modèle réentraîné reste soumise à validation.
Évaluer un modèle de langage : le cœur du LLMOps
Sans jeu d’évaluation, chaque modification d’un prompt est un pari. Le dispositif repose sur quatre éléments.
- Un jeu de cas de référence, tiré des demandes réelles. Il inclut les cas difficiles et ceux où l’application doit refuser de répondre. Il s’enrichit à chaque incident.
- Des critères explicites : exactitude, fidélité aux sources, complétude, respect des consignes de forme et de refus.
- Trois modes de notation complémentaires : des contrôles automatiques pour ce qui est vérifiable mécaniquement, un modèle utilisé comme juge après calibrage sur des notes d’experts, une revue humaine sur échantillon.
- Une règle de non-régression : aucune évolution du prompt, de la base documentaire ou de la version du modèle n’est mise en service sans avoir rejoué le jeu de référence.
Pour un dispositif de RAG, la recherche et la génération s’évaluent séparément. La première question est de savoir si les bons passages ont été retrouvés. La seconde est de savoir si la réponse s’en tient à ces passages. Les confondre empêche de corriger au bon endroit. La conception de l’assistant lui-même (cadrage, corpus, architecture) relève de notre offre d’IA générative en entreprise.
En exploitation, le suivi porte sur les traces des échanges, les retours des utilisateurs, le coût par demande et la latence. La conservation des traces se décide avec les règles applicables aux données personnelles.
Notre approche : un premier modèle de bout en bout
Nous partons d’un modèle réel, déjà prototypé ou en service, et nos consultants aident vos équipes à le faire passer par une chaîne complète : versionnement, déploiement automatisé, surveillance, procédure de réaction. Ce premier parcours fixe les standards et révèle les obstacles propres à votre organisation, qu’ils soient techniques ou liés au partage des rôles entre équipes data, exploitation et métiers.
Le niveau d’automatisation est proportionné. Il dépend du nombre de modèles, de leur fréquence de mise à jour et de leur criticité. Les composants mutualisés ne sont construits que lorsque plusieurs équipes en ont besoin.
La chaîne produit aussi des preuves. Pour les systèmes d’IA à haut risque, l’AI Act, règlement (UE) 2024/1689, prévoit des exigences de documentation technique (article 11), d’enregistrement automatique des événements (article 12) et de surveillance après commercialisation par les fournisseurs (article 72). Le registre, les fiches de modèle et les journaux y contribuent. La qualification des systèmes et le cadre d’ensemble relèvent de la gouvernance de l’IA.
Les pièges du passage en production
- Construire la plateforme avant le premier modèle. Un socle complet sans modèle à exploiter fige des choix que les premiers cas réels contrediront.
- Surveiller l’infrastructure et non le modèle. Un service peut répondre vite et faux. Les indicateurs techniques ne disent rien de la justesse.
- Mettre en service un modèle réentraîné sans validation. Un jeu de données corrompu produit alors un modèle dégradé, déployé automatiquement.
- Modifier un prompt directement en production. Une amélioration sur un cas peut en dégrader d’autres, ce que seul le jeu de référence révèle.
- Dépendre d’une personne. Un modèle que seul son auteur sait relancer est un risque d’exploitation.
- Découvrir le coût à l’usage après le succès. Pour un modèle de langage, la dépense suit l’adoption. Elle se mesure par demande dès le pilote.
Les indicateurs d’une chaîne qui fonctionne
- Le délai entre la validation d’un modèle et sa mise en production.
- La part des modèles en service qui sont reconstructibles et dotés d’un responsable nommé.
- La fréquence des déploiements, leur taux de succès et le temps nécessaire à un retour arrière.
- La part des dégradations détectées par la surveillance avant d’être signalées par un utilisateur.
- Pour les modèles de langage : le résultat sur le jeu de référence à chaque version, le coût par demande et la part des réponses signalées.
Ces indicateurs sont définis au cadrage et suivis par l’équipe qui exploite les modèles. Ils servent aussi à décider du retrait d’un modèle : un modèle dont l’usage ne justifie plus le coût d’exploitation se décommissionne comme n’importe quel service.