Aller au contenu
Cabinet d'expertise en transformation technologique · ARDIANE Group Innover, sécuriser, réussir

Lexique

LLMOps : définition, composantes et différences avec le MLOps

Domaines

Data · Intelligence artificielle

L'essentiel

Le LLMOps (large language model operations) désigne les pratiques et les outils qui servent à mettre en production, évaluer, suivre et faire évoluer une application fondée sur un grand modèle de langage. Terme d'usage, dont le périmètre varie d'une source à l'autre, le LLMOps prolonge le MLOps et couvre notamment la gestion des prompts, l'évaluation, le suivi en production et la maîtrise des coûts.

Sommaire de la page

Définition du LLMOps : un terme d’usage

Le LLMOps, pour large language model operations, désigne les pratiques et les outils qui servent à mettre en production, évaluer, suivre et faire évoluer une application fondée sur un grand modèle de langage (LLM) : assistant, dispositif de recherche documentaire, agent.

Le mot est formé sur le modèle de MLOps. Il relève de l’usage, et son périmètre varie d’une source à l’autre. Cette fiche retient le sens d’un prolongement du MLOps, organisé autour de quatre sujets : les prompts, l’évaluation, le suivi en production et les coûts.

Ce qui rend l’exploitation d’une application à base de LLM particulière

Le comportement d’une telle application ne tient pas à son seul code. Il dépend du prompt, de la version du modèle appelé, des paramètres de génération et, s’il y en a, des documents fournis au modèle. Une modification de l’un de ces éléments peut changer les réponses sans qu’une ligne de code ait bougé.

Trois autres traits s’ajoutent. La sortie est un texte libre, qui peut varier d’un appel à l’autre pour une même demande. Lorsque le modèle est fourni par un tiers, ses versions évoluent selon un calendrier que l’organisation ne fixe pas. Enfin, lorsque l’accès au modèle est facturé à l’usage, le coût croît avec le volume de texte lu et produit, compté en jetons.

Prompts, évaluation, suivi, coûts : les quatre composantes

Composante Ce qu’elle organise
Gestion des prompts Le versionnement des consignes et de la configuration de l’appel (version du modèle, paramètres), leur revue et leur mise en service comme celle d’un code
Évaluation Un jeu de cas de référence, au résultat attendu fixé d’avance, soumis à l’application avant chaque changement de prompt, de modèle ou de corpus, puis un échantillon d’échanges réels relu après la mise en service
Suivi en production Les traces de chaque échange : demande, passages fournis, réponse, délai, nombre de jetons, retour de l’utilisateur, garde-fou déclenché
Maîtrise des coûts La mesure du coût par demande et par usage, et les leviers qui le réduisent : longueur du contexte, nombre d’appels par réponse, choix du modèle selon la tâche

Une trace reprend le texte de la demande, où peuvent figurer des données personnelles : ce qu’elle conserve, et pour combien de temps, est à fixer avant la mise en service.

LLMOps, MLOps, prompt engineering, RAG : ne pas confondre

Le MLOps porte sur des modèles que l’organisation entraîne, et notre fiche sur le MLOps en décrit le cycle de vie. Le LLMOps en reprend les principes (versionner, tester, surveiller) et en déplace l’objet. L’entraînement sort du cycle lorsque le modèle est utilisé tel quel. Le registre de modèles devient un registre de prompts et de configurations. La mesure d’une performance sur des données étiquetées fait place à l’appréciation de textes libres.

Les deux se rejoignent lorsqu’un modèle de langage est ajusté sur des exemples propres à l’organisation : un artefact entraîné revient dans la chaîne. Notre article sur le fine-tuning d’un LLM expose ce cas.

Le prompt engineering est l’art de rédiger une consigne. Le LLMOps traite ce qui l’entoure : version, test, déploiement, suivi. Le RAG, enfin, est une architecture d’application, dont l’index documentaire devient un objet de plus à versionner et à évaluer.

Exemple : le retrait annoncé d’une version de modèle

Prenons un assistant qui répond aux questions des salariés sur les règles de congés, à partir des accords de l’entreprise. Le fournisseur du modèle annonce le retrait de la version utilisée. L’équipe rejoue le jeu de cas de référence sur la version suivante. Les réponses restent exactes, mais l’assistant répond désormais à des questions hors périmètre qu’il refusait auparavant.

Le prompt est corrigé, enregistré sous une nouvelle version, puis réévalué. Le coût par demande est comparé entre les deux configurations. La nouvelle version est ouverte à une partie des utilisateurs, et les traces sont relues avant la généralisation. L’ancienne configuration reste disponible jusqu’au retrait.

La mise en place de cette chaîne fait l’objet de notre page MLOps et LLMOps. La conception de l’assistant lui-même (tâche, corpus, architecture) relève de l’IA générative en entreprise.

Insights

À lire sur le sujet

Tous les insights
L'observabilité de l'IA générative ajoute à la latence le coût, la qualité des réponses et la dérive

L'observabilité de l'IA générative désigne les mesures relevées sur une application fondée sur un modèle de langage en production : latence, coût par demande, qualité des réponses évaluée, taux d'échec des appels d'outils, dérive. Management Square expose ici la manière d'établir chaque mesure, le lecteur qu'elle sert et l'angle mort qu'elle laisse.

Lire l'analyse
Qui décide de l'étape suivante ? L'orchestration d'agents IA, du code figé au passage de relais

L'orchestration d'agents IA désigne la manière dont une application décide quels agents s'exécutent, dans quel ordre et qui choisit l'étape suivante : le code, un agent orchestrateur ou l'agent qui tient la tâche. Management Square compare ces modes d'orchestration, ce que chacun coûte en appels de modèle, en tests et en traçabilité, et les situations où chacun convient.

Lire l'analyse
Composer le budget d'un projet IA, des postes de coût au choix entre construire et acheter

Le budget d'un projet IA peut se décomposer en six postes : cadrage, données, construction, évaluation, exploitation et conformité, dont une part se dépense une fois et une autre revient tant que le service existe. Management Square décrit ici chaque poste par sa nature et par ce qui le fait varier, puis ce que change le choix entre construire, adapter un modèle existant et acheter un service.

Lire l'analyse

FAQ

Questions fréquentes

Une autre question ? Posez-la-nous

Que signifie LLMOps ?

LLMOps associe LLM (large language model, grand modèle de langage) et operations. Le mot désigne les pratiques et les outils qui encadrent l'exploitation d'une application fondée sur un modèle de langage : gestion des prompts, évaluation, suivi en production et maîtrise des coûts. Il s'agit d'un terme d'usage, formé sur le modèle de MLOps, dont le périmètre varie d'une source à l'autre.

Quelle est la différence entre LLMOps et MLOps ?

Le MLOps organise le cycle de vie d'un modèle que l'organisation entraîne : données d'entraînement, entraînement, validation statistique, réentraînement. Le LLMOps s'applique lorsque l'application appelle un modèle de langage déjà entraîné, qui peut être fourni par un tiers. Le travail se déplace alors vers les prompts, la configuration de l'appel, l'évaluation de textes libres et le coût à l'usage.

Qu'est-ce que la gestion des prompts ?

La gestion des prompts consiste à traiter les consignes adressées au modèle de langage comme des artefacts versionnés, au même titre que le code. Chaque version est enregistrée avec la configuration qui l'accompagne (version du modèle, paramètres de génération) et rejoue le jeu d'évaluation avant sa mise en service. Un retour à la version précédente reste ainsi possible.

Une démarche LLMOps est-elle utile lorsque le modèle est fourni par un tiers ?

Oui. Lorsque le modèle de langage est fourni par un tiers, l'organisation n'en maîtrise ni l'entraînement ni le calendrier des versions, mais elle reste responsable du comportement de son application. Les prompts, les documents fournis au modèle, l'évaluation, les traces et le coût par demande restent à sa charge, et ce sont eux que le LLMOps organise.

Un projet à faire aboutir ?

Un premier échange suffit pour situer votre enjeu, identifier les bons interlocuteurs et vous dire franchement ce que nous pouvons apporter.