Aller au contenu
Cabinet d'expertise en transformation technologique · ARDIANE Group Innover, sécuriser, réussir

Lexique

LLM : définition et fonctionnement d'un grand modèle de langage

Domaine

Intelligence artificielle

L'essentiel

Un LLM (large language model, ou grand modèle de langage) est un réseau de neurones entraîné sur de très grands volumes de texte à prédire la suite d'une séquence, ce qui lui permet de rédiger, résumer, traduire ou produire du code. Il génère le texte le plus plausible et non un texte vérifié, d'où le phénomène des hallucinations.

Sommaire de la page

Définition du LLM

Un LLM, pour large language model, est un grand modèle de langage : un réseau de neurones entraîné sur de très grands volumes de texte à prédire la suite d’une séquence. La définition du LLM tient dans ce mécanisme. À partir d’un texte d’entrée, le modèle calcule quel fragment a le plus de chances de venir ensuite, l’ajoute, puis recommence. Les réponses, les résumés, les traductions ou le code qu’il produit résultent de cette prédiction répétée.

Les LLM actuels reposent sur l’architecture dite transformeur, présentée en 2017, dont le mécanisme d’attention permet de tenir compte des relations entre des mots éloignés dans un texte. Le qualificatif « grand » renvoie au nombre de paramètres, c’est-à-dire aux valeurs numériques ajustées pendant l’entraînement.

À quoi sert un LLM

Un même modèle couvre des tâches qui demandaient auparavant des outils distincts.

  • Rédiger, reformuler, résumer et traduire.
  • Classer des textes et extraire des informations de documents non structurés.
  • Répondre à des questions sur un corpus qu’on lui fournit.
  • Écrire, expliquer et corriger du code.
  • Piloter des outils, lorsqu’il est intégré à un agent IA.

Un LLM n’est ni une base de données ni un calculateur. Il ne consulte pas un stock de faits : il produit du texte vraisemblable. Cette propriété explique à la fois sa polyvalence et ses erreurs.

Jetons et fenêtre de contexte

Un LLM ne lit pas des mots mais des jetons (tokens) : des fragments de texte qui correspondent à un mot court, à un morceau de mot ou à un signe de ponctuation. Le jeton sert d’unité à tout : la longueur de ce que le modèle peut lire, celle de ce qu’il peut écrire, et la facturation des services d’accès aux modèles, le plus souvent comptée en jetons d’entrée et de sortie.

La fenêtre de contexte est la quantité maximale de jetons que le modèle prend en compte en une fois : consignes, documents fournis, historique de la conversation et réponse en cours. Ce qui n’y figure pas n’existe pas pour lui. Deux conséquences pratiques en découlent. Un modèle n’a aucune mémoire d’un échange à l’autre, sauf si l’application lui fournit de nouveau l’historique. Et un fonds documentaire volumineux ne tient pas dans la fenêtre, ce qui conduit à sélectionner les passages utiles selon le principe de la génération augmentée par récupération (RAG).

Les hallucinations d’un LLM

On appelle hallucination une réponse fausse énoncée avec la même assurance qu’une réponse juste : une référence inventée, un chiffre erroné, une clause qui ne figure pas dans le contrat. Le phénomène découle du fonctionnement même du modèle, qui produit le texte le plus plausible et non un texte vérifié.

On le réduit sans l’éliminer. Les leviers sont connus : fournir les sources au modèle, exiger qu’il cite le passage sur lequel il s’appuie, restreindre la tâche, contrôler automatiquement les sorties, et conserver une relecture humaine partout où une erreur coûte cher.

Modèles ouverts et modèles propriétaires

Modèle propriétaire Modèle à poids ouverts
Accès Interface de programmation de l’éditeur ou d’un fournisseur cloud Paramètres téléchargeables, hébergement par vos soins ou par un tiers
Maîtrise Dépendance aux évolutions, aux tarifs et au retrait des versions Choix de la version et du lieu de traitement
Exploitation Assurée par l’éditeur Infrastructure de calcul et compétences à prévoir
Adaptation Dans les limites fixées par l’éditeur Ajustement fin possible sur vos données

Le mot « ouvert » demande une vérification au cas par cas. La publication des paramètres ne dit rien des données d’entraînement, et les licences varient : certaines restreignent l’usage commercial. Le choix se fait sur la sensibilité des données traitées, le volume d’appels, le niveau de qualité nécessaire et les compétences disponibles pour exploiter le modèle.

LLM, IA générative, assistant : ne pas confondre

L’IA générative est la famille des systèmes qui produisent du contenu : texte, image, son, vidéo. Le LLM en est la branche textuelle, même si de nombreux modèles traitent désormais aussi des images ou du son. Un assistant conversationnel est une application construite autour d’un LLM, avec une interface, des consignes et parfois des outils. Le modèle est le moteur, l’assistant est le produit.

Sur le plan juridique, le règlement européen sur l’IA retient une autre catégorie, celle des modèles d’IA à usage général, dont relèvent les grands LLM. Elle est décrite dans notre fiche sur l’AI Act.

Un exemple concret : l’analyse de contrats

Prenons une direction juridique qui veut repérer certaines clauses dans un fonds de contrats longs. Les notions précédentes deviennent des questions de conception. Chaque contrat tient-il dans la fenêtre de contexte, ou faut-il le découper ? Le coût, proportionnel au nombre de jetons, reste-t-il acceptable une fois multiplié par le nombre de contrats ?

Le risque d’hallucination se traite par construction : le modèle doit citer mot pour mot le passage retenu, et un contrôle automatique vérifie que la citation figure bien dans le document. Enfin, la confidentialité des contrats oriente le choix entre un modèle propriétaire assorti de garanties contractuelles et un modèle à poids ouverts hébergé en interne.

Pour le choix et l’intégration de ces modèles, consultez notre page consacrée à l’IA générative en entreprise.

Insights

À lire sur le sujet

Tous les insights
Les défis éthiques de l'IA générative lus dans les textes publics de référence

Un défi éthique de l'IA générative est, par convention, une question que la loi ne suffit pas à trancher : biais, contenus trompeurs, droit d'auteur, transparence, travail, empreinte environnementale. Management Square lit ce qu'en disent la Recommandation de l'OCDE sur l'IA, les lignes directrices européennes de 2019 et le droit de l'Union, puis propose une manière d'en tirer des choix motivés pour chaque usage.

Lire l'analyse
Les questions à instruire avant de généraliser le développement assisté par IA

Le développement assisté par IA désigne l'emploi, par les développeurs, d'assistants fondés sur des modèles de langage qui proposent du code, des tests ou des explications. Management Square présente ici les questions qu'un comité peut instruire avant de le généraliser : tâches confiées, relecture, tests et revue, données transmises, titularité du code et mesures d'un essai.

Lire l'analyse
Fine-tuning LLM : faut-il ajuster le modèle, ou s'en tenir au prompt et au RAG ?

Le fine-tuning d'un LLM poursuit l'entraînement d'un modèle de langage existant sur des exemples choisis pour en modifier durablement le comportement : un format, un registre, une tâche étroite. Il n'apporte ni connaissances à jour ni sources vérifiables : Management Square donne ici les critères qui justifient un ajustement et les cas où la consigne ou le RAG suffisent.

Lire l'analyse

FAQ

Questions fréquentes

Une autre question ? Posez-la-nous

Que signifie LLM ?

LLM signifie large language model, traduit en français par grand modèle de langage. Il s'agit d'un réseau de neurones entraîné sur de très grands volumes de texte, capable de produire du texte en prédisant, fragment après fragment, la suite la plus probable d'une séquence.

Qu'est-ce qu'un jeton (token) pour un LLM ?

Un jeton est l'unité de texte que le modèle manipule : un mot court, un morceau de mot ou un signe de ponctuation. La longueur des textes lus et produits se compte en jetons, de même que la facturation de la plupart des services d'accès aux modèles.

Pourquoi un LLM produit-il des hallucinations ?

Un LLM génère le texte le plus plausible au vu de son entraînement et de la question, sans vérifier les faits. Lorsqu'il ne dispose pas de l'information, il peut produire une réponse fausse formulée avec assurance. Fournir des sources au modèle et contrôler ses sorties réduit le phénomène sans le supprimer.

Quelle différence entre un modèle ouvert et un modèle propriétaire ?

Un modèle propriétaire est accessible par l'interface de son éditeur, qui en garde les paramètres. Un modèle à poids ouverts peut être téléchargé et hébergé par l'organisation, qui maîtrise alors la version utilisée et le lieu de traitement des données, mais doit assurer l'infrastructure et l'exploitation.

Un projet à faire aboutir ?

Un premier échange suffit pour situer votre enjeu, identifier les bons interlocuteurs et vous dire franchement ce que nous pouvons apporter.