Définition du LLMOps : un terme d’usage
Le LLMOps, pour large language model operations, désigne les pratiques et les outils qui servent à mettre en production, évaluer, suivre et faire évoluer une application fondée sur un grand modèle de langage (LLM) : assistant, dispositif de recherche documentaire, agent.
Le mot est formé sur le modèle de MLOps. Il relève de l’usage, et son périmètre varie d’une source à l’autre. Cette fiche retient le sens d’un prolongement du MLOps, organisé autour de quatre sujets : les prompts, l’évaluation, le suivi en production et les coûts.
Ce qui rend l’exploitation d’une application à base de LLM particulière
Le comportement d’une telle application ne tient pas à son seul code. Il dépend du prompt, de la version du modèle appelé, des paramètres de génération et, s’il y en a, des documents fournis au modèle. Une modification de l’un de ces éléments peut changer les réponses sans qu’une ligne de code ait bougé.
Trois autres traits s’ajoutent. La sortie est un texte libre, qui peut varier d’un appel à l’autre pour une même demande. Lorsque le modèle est fourni par un tiers, ses versions évoluent selon un calendrier que l’organisation ne fixe pas. Enfin, lorsque l’accès au modèle est facturé à l’usage, le coût croît avec le volume de texte lu et produit, compté en jetons.
Prompts, évaluation, suivi, coûts : les quatre composantes
| Composante | Ce qu’elle organise |
|---|---|
| Gestion des prompts | Le versionnement des consignes et de la configuration de l’appel (version du modèle, paramètres), leur revue et leur mise en service comme celle d’un code |
| Évaluation | Un jeu de cas de référence, au résultat attendu fixé d’avance, soumis à l’application avant chaque changement de prompt, de modèle ou de corpus, puis un échantillon d’échanges réels relu après la mise en service |
| Suivi en production | Les traces de chaque échange : demande, passages fournis, réponse, délai, nombre de jetons, retour de l’utilisateur, garde-fou déclenché |
| Maîtrise des coûts | La mesure du coût par demande et par usage, et les leviers qui le réduisent : longueur du contexte, nombre d’appels par réponse, choix du modèle selon la tâche |
Une trace reprend le texte de la demande, où peuvent figurer des données personnelles : ce qu’elle conserve, et pour combien de temps, est à fixer avant la mise en service.
LLMOps, MLOps, prompt engineering, RAG : ne pas confondre
Le MLOps porte sur des modèles que l’organisation entraîne, et notre fiche sur le MLOps en décrit le cycle de vie. Le LLMOps en reprend les principes (versionner, tester, surveiller) et en déplace l’objet. L’entraînement sort du cycle lorsque le modèle est utilisé tel quel. Le registre de modèles devient un registre de prompts et de configurations. La mesure d’une performance sur des données étiquetées fait place à l’appréciation de textes libres.
Les deux se rejoignent lorsqu’un modèle de langage est ajusté sur des exemples propres à l’organisation : un artefact entraîné revient dans la chaîne. Notre article sur le fine-tuning d’un LLM expose ce cas.
Le prompt engineering est l’art de rédiger une consigne. Le LLMOps traite ce qui l’entoure : version, test, déploiement, suivi. Le RAG, enfin, est une architecture d’application, dont l’index documentaire devient un objet de plus à versionner et à évaluer.
Exemple : le retrait annoncé d’une version de modèle
Prenons un assistant qui répond aux questions des salariés sur les règles de congés, à partir des accords de l’entreprise. Le fournisseur du modèle annonce le retrait de la version utilisée. L’équipe rejoue le jeu de cas de référence sur la version suivante. Les réponses restent exactes, mais l’assistant répond désormais à des questions hors périmètre qu’il refusait auparavant.
Le prompt est corrigé, enregistré sous une nouvelle version, puis réévalué. Le coût par demande est comparé entre les deux configurations. La nouvelle version est ouverte à une partie des utilisateurs, et les traces sont relues avant la généralisation. L’ancienne configuration reste disponible jusqu’au retrait.
La mise en place de cette chaîne fait l’objet de notre page MLOps et LLMOps. La conception de l’assistant lui-même (tâche, corpus, architecture) relève de l’IA générative en entreprise.