Du prototype convaincant au service qui déçoit
L’IA générative en entreprise commence presque toujours par une démonstration réussie. Un prototype répond à des questions sur un ensemble de documents, et l’assistance est convaincue. Les difficultés viennent ensuite, lorsque de vrais utilisateurs posent de vraies questions.
Le prototype répondait bien parce que les questions étaient choisies par ceux qui l’avaient construit. En usage réel, les demandes sont ambiguës, incomplètes, parfois hors périmètre. Le système répond quand même, avec la même assurance, y compris lorsqu’il se trompe. Un utilisateur qui relève deux erreurs graves cesse de faire confiance à l’outil, puis cesse de l’utiliser.
S’ajoutent les questions que la démonstration avait laissées de côté. L’assistant respecte-t-il les droits d’accès aux documents ? Que devient une réponse lorsque le document source change ? Que coûte une requête, et que coûtera l’usage quotidien de toute une direction ? Qui est alerté si la qualité se dégrade après un changement de version du modèle ? Ces questions relèvent de l’ingénierie, pas du modèle.
LLM, RAG, ajustement : les options et ce qu’elles impliquent
Un grand modèle de langage, ou LLM, produit du texte à partir des régularités apprises pendant son entraînement. Il ne connaît pas vos documents internes, il ignore les faits postérieurs à cet entraînement, et il peut produire une affirmation plausible mais fausse. L’architecture d’un assistant métier consiste à compenser ces trois limites.
| Approche | Principe | Convient pour | Limite |
|---|---|---|---|
| Consigne seule | Le modèle reçoit une instruction et, au besoin, le texte à traiter | Reformulation, synthèse, extraction sur un document fourni | Aucune connaissance propre à l’organisation |
| Génération augmentée par la recherche (RAG) | Le système retrouve les passages pertinents dans votre base documentaire et les transmet au modèle | Questions sur un corpus interne, réponses sourcées | La réponse ne vaut pas mieux que les passages retrouvés |
| Ajustement du modèle (fine-tuning) | Le modèle est réentraîné sur vos exemples | Format, vocabulaire ou tâche très spécialisés | Charge de maintenance, travail à reprendre quand le modèle de base évolue |
Le RAG est souvent le point de départ d’un assistant documentaire, parce qu’il permet de citer les sources et de mettre à jour la connaissance sans toucher au modèle. Sa qualité se joue avant la génération : découpage des documents, métadonnées, gestion des versions, combinaison d’une recherche par mots-clés et d’une recherche sémantique, reclassement des résultats.
Le choix du modèle vient après. Il se fait sur vos tâches et non sur un classement général : qualité mesurée sur vos propres questions, lieu de traitement des données, coût par requête, délai de réponse, possibilité de changer de fournisseur. Un modèle exploité par un fournisseur et un modèle ouvert hébergé par vos soins n’entraînent ni les mêmes contraintes de confidentialité ni les mêmes charges d’exploitation.
Notre approche de l’IA générative en entreprise : partir de l’évaluation
Nos consultants travaillent au sein de vos équipes ; les décisions restent les vôtres.
Définir la tâche et ses limites. Un assistant « qui répond à tout » ne peut pas être évalué. Nous partons d’une tâche précise, d’un public et d’un corpus délimité. Nous écrivons aussi ce que l’assistant doit refuser : une question hors périmètre, une demande pour laquelle aucune source n’existe.
Construire le jeu de référence avant le système. Avec les experts du domaine, nous constituons un ensemble de questions réelles et de réponses attendues, cas pièges compris. Ce jeu sert de critère d’acceptation. Il sépare deux mesures : le système retrouve-t-il le bon passage, et la réponse est-elle fidèle à ce passage.
Préparer le corpus. Doublons, versions périmées, documents contradictoires, tableaux et schémas mal extraits : la préparation documentaire pèse souvent plus sur le résultat que le choix du modèle. Elle pose aussi la question du propriétaire de chaque source et du rythme de sa mise à jour.
Traiter la sécurité comme une exigence fonctionnelle. Les droits d’accès aux documents doivent se retrouver dans l’index : un utilisateur ne doit pas obtenir par l’assistant ce qu’il n’a pas le droit de lire. Les contenus indexés peuvent par ailleurs contenir des consignes malveillantes (injection de prompt), ce qui impose de filtrer les entrées et de borner ce que le système peut faire.
Industrialiser. Journalisation des échanges, suivi du coût et de la qualité, tests de non-régression rejoués à chaque changement de consigne, d’index ou de modèle, recueil des retours des utilisateurs. Ces pratiques prolongent celles du MLOps, adaptées aux modèles de langage.
Lorsque le besoin dépasse la réponse à une question et suppose d’enchaîner des actions dans vos applications, le sujet devient celui des agents IA, avec des exigences de contrôle supplémentaires.
Les erreurs fréquentes des projets d’IA générative
- Choisir le modèle avant d’avoir défini la tâche. La comparaison de modèles n’a de sens que sur vos questions. Sans jeu de référence, elle se réduit à une impression.
- Indexer tout le patrimoine documentaire d’un coup. Un corpus large et non trié fait baisser la précision des réponses. Un périmètre étroit et propre donne de meilleurs résultats, et s’élargit ensuite.
- Évaluer par démonstration. Quelques questions posées en réunion ne disent rien du comportement sur l’ensemble des demandes réelles. Seul un jeu de référence rejoué systématiquement permet de comparer deux versions.
- Ne pas prévoir le refus. Un assistant qui ne sait pas dire « je ne trouve pas cette information » invente. Le refus motivé est une fonctionnalité.
- Ignorer le coût à l’échelle. La longueur du contexte transmis au modèle et le nombre d’appels par requête déterminent la facture. Ils se mesurent dès le pilote.
- Livrer sans exploitant. Un assistant dont personne ne tient le corpus, les évaluations et les évolutions se dégrade sans que quiconque le voie.
Comment mesurer la réussite d’un assistant métier
Nous suivons quatre familles d’indicateurs, fixées au cadrage et relevées avant comme après la mise en service.
- Qualité. Part des réponses jugées correctes et fidèles aux sources sur le jeu de référence, suivie version après version. Refus justifiés et refus à tort.
- Usage. Part des utilisateurs visés qui reviennent une fois passée la découverte, fréquence des reformulations, retours négatifs signalés.
- Exploitation. Coût par requête, délai de réponse, incidents de confidentialité, délai de prise en compte d’un document mis à jour.
- Effet métier. L’indicateur du processus concerné, choisi avec son responsable : délai de traitement d’un dossier, taux de reprise, charge du support de second niveau.
Un assistant très utilisé dont l’indicateur métier ne bouge pas pose une question de conception du processus, pas de technologie. C’est à ce stade que le travail avec les équipes sur leurs pratiques prend le relais de l’ingénierie.