Aller au contenu
Cabinet d'expertise en transformation technologique · ARDIANE Group Innover, sécuriser, réussir

Intelligence artificielle

IA générative en entreprise : des assistants métier fiables, jusqu'en production

Un prototype qui impressionne en réunion n'est pas un service. Nos consultants aident vos équipes à construire des assistants métier dont la qualité se mesure, dont les réponses citent leurs sources et dont le coût est connu.

Nos principes

  • Un jeu de test construit avant le système
  • Des réponses sourcées et des refus assumés
  • Une exploitation prévue dès la conception
L'essentiel

L'IA générative en entreprise regroupe surtout les systèmes fondés sur un grand modèle de langage (LLM) qui rédigent, synthétisent, extraient ou répondent à partir des documents internes. Les consultants de Management Square aident vos équipes à concevoir ces assistants métier, à les évaluer sur un jeu de test bâti avec les experts du domaine et à les mettre en production en maîtrisant sécurité, coût et exploitation.

Périmètre

Nos interventions

  1. Cadrage de l'assistant

    Définition de la tâche, du public, du corpus et des limites : ce que l'assistant doit faire, ce qu'il doit refuser et le critère qui dira s'il est prêt à être déployé.

  2. Préparation du corpus documentaire

    Sélection des sources, traitement des doublons et des versions périmées, extraction des tableaux et des schémas, métadonnées et reprise des droits d'accès.

  3. Conception de l'architecture

    Choix entre consigne seule, génération augmentée par la recherche et ajustement du modèle, puis sélection du modèle de langage sur vos tâches et vos contraintes de confidentialité.

  4. Dispositif d'évaluation

    Jeu de questions de référence bâti avec vos experts, mesure de la recherche et de la fidélité des réponses, tests de non-régression rejoués à chaque évolution.

  5. Sécurisation

    Respect des habilitations dans l'index, protection contre l'injection de consignes, filtrage des entrées et des sorties, journalisation des échanges.

  6. Industrialisation et exploitation

    Intégration aux outils de travail, suivi du coût et de la qualité, gestion des changements de version du modèle, boucle de retours utilisateurs.

Sommaire de la page

Du prototype convaincant au service qui déçoit

L’IA générative en entreprise commence presque toujours par une démonstration réussie. Un prototype répond à des questions sur un ensemble de documents, et l’assistance est convaincue. Les difficultés viennent ensuite, lorsque de vrais utilisateurs posent de vraies questions.

Le prototype répondait bien parce que les questions étaient choisies par ceux qui l’avaient construit. En usage réel, les demandes sont ambiguës, incomplètes, parfois hors périmètre. Le système répond quand même, avec la même assurance, y compris lorsqu’il se trompe. Un utilisateur qui relève deux erreurs graves cesse de faire confiance à l’outil, puis cesse de l’utiliser.

S’ajoutent les questions que la démonstration avait laissées de côté. L’assistant respecte-t-il les droits d’accès aux documents ? Que devient une réponse lorsque le document source change ? Que coûte une requête, et que coûtera l’usage quotidien de toute une direction ? Qui est alerté si la qualité se dégrade après un changement de version du modèle ? Ces questions relèvent de l’ingénierie, pas du modèle.

LLM, RAG, ajustement : les options et ce qu’elles impliquent

Un grand modèle de langage, ou LLM, produit du texte à partir des régularités apprises pendant son entraînement. Il ne connaît pas vos documents internes, il ignore les faits postérieurs à cet entraînement, et il peut produire une affirmation plausible mais fausse. L’architecture d’un assistant métier consiste à compenser ces trois limites.

Approche Principe Convient pour Limite
Consigne seule Le modèle reçoit une instruction et, au besoin, le texte à traiter Reformulation, synthèse, extraction sur un document fourni Aucune connaissance propre à l’organisation
Génération augmentée par la recherche (RAG) Le système retrouve les passages pertinents dans votre base documentaire et les transmet au modèle Questions sur un corpus interne, réponses sourcées La réponse ne vaut pas mieux que les passages retrouvés
Ajustement du modèle (fine-tuning) Le modèle est réentraîné sur vos exemples Format, vocabulaire ou tâche très spécialisés Charge de maintenance, travail à reprendre quand le modèle de base évolue

Le RAG est souvent le point de départ d’un assistant documentaire, parce qu’il permet de citer les sources et de mettre à jour la connaissance sans toucher au modèle. Sa qualité se joue avant la génération : découpage des documents, métadonnées, gestion des versions, combinaison d’une recherche par mots-clés et d’une recherche sémantique, reclassement des résultats.

Le choix du modèle vient après. Il se fait sur vos tâches et non sur un classement général : qualité mesurée sur vos propres questions, lieu de traitement des données, coût par requête, délai de réponse, possibilité de changer de fournisseur. Un modèle exploité par un fournisseur et un modèle ouvert hébergé par vos soins n’entraînent ni les mêmes contraintes de confidentialité ni les mêmes charges d’exploitation.

Notre approche de l’IA générative en entreprise : partir de l’évaluation

Nos consultants travaillent au sein de vos équipes ; les décisions restent les vôtres.

Définir la tâche et ses limites. Un assistant « qui répond à tout » ne peut pas être évalué. Nous partons d’une tâche précise, d’un public et d’un corpus délimité. Nous écrivons aussi ce que l’assistant doit refuser : une question hors périmètre, une demande pour laquelle aucune source n’existe.

Construire le jeu de référence avant le système. Avec les experts du domaine, nous constituons un ensemble de questions réelles et de réponses attendues, cas pièges compris. Ce jeu sert de critère d’acceptation. Il sépare deux mesures : le système retrouve-t-il le bon passage, et la réponse est-elle fidèle à ce passage.

Préparer le corpus. Doublons, versions périmées, documents contradictoires, tableaux et schémas mal extraits : la préparation documentaire pèse souvent plus sur le résultat que le choix du modèle. Elle pose aussi la question du propriétaire de chaque source et du rythme de sa mise à jour.

Traiter la sécurité comme une exigence fonctionnelle. Les droits d’accès aux documents doivent se retrouver dans l’index : un utilisateur ne doit pas obtenir par l’assistant ce qu’il n’a pas le droit de lire. Les contenus indexés peuvent par ailleurs contenir des consignes malveillantes (injection de prompt), ce qui impose de filtrer les entrées et de borner ce que le système peut faire.

Industrialiser. Journalisation des échanges, suivi du coût et de la qualité, tests de non-régression rejoués à chaque changement de consigne, d’index ou de modèle, recueil des retours des utilisateurs. Ces pratiques prolongent celles du MLOps, adaptées aux modèles de langage.

Lorsque le besoin dépasse la réponse à une question et suppose d’enchaîner des actions dans vos applications, le sujet devient celui des agents IA, avec des exigences de contrôle supplémentaires.

Les erreurs fréquentes des projets d’IA générative

  • Choisir le modèle avant d’avoir défini la tâche. La comparaison de modèles n’a de sens que sur vos questions. Sans jeu de référence, elle se réduit à une impression.
  • Indexer tout le patrimoine documentaire d’un coup. Un corpus large et non trié fait baisser la précision des réponses. Un périmètre étroit et propre donne de meilleurs résultats, et s’élargit ensuite.
  • Évaluer par démonstration. Quelques questions posées en réunion ne disent rien du comportement sur l’ensemble des demandes réelles. Seul un jeu de référence rejoué systématiquement permet de comparer deux versions.
  • Ne pas prévoir le refus. Un assistant qui ne sait pas dire « je ne trouve pas cette information » invente. Le refus motivé est une fonctionnalité.
  • Ignorer le coût à l’échelle. La longueur du contexte transmis au modèle et le nombre d’appels par requête déterminent la facture. Ils se mesurent dès le pilote.
  • Livrer sans exploitant. Un assistant dont personne ne tient le corpus, les évaluations et les évolutions se dégrade sans que quiconque le voie.

Comment mesurer la réussite d’un assistant métier

Nous suivons quatre familles d’indicateurs, fixées au cadrage et relevées avant comme après la mise en service.

  • Qualité. Part des réponses jugées correctes et fidèles aux sources sur le jeu de référence, suivie version après version. Refus justifiés et refus à tort.
  • Usage. Part des utilisateurs visés qui reviennent une fois passée la découverte, fréquence des reformulations, retours négatifs signalés.
  • Exploitation. Coût par requête, délai de réponse, incidents de confidentialité, délai de prise en compte d’un document mis à jour.
  • Effet métier. L’indicateur du processus concerné, choisi avec son responsable : délai de traitement d’un dossier, taux de reprise, charge du support de second niveau.

Un assistant très utilisé dont l’indicateur métier ne bouge pas pose une question de conception du processus, pas de technologie. C’est à ce stade que le travail avec les équipes sur leurs pratiques prend le relais de l’ingénierie.

Travaux types

Ce à quoi nos consultants contribuent

Dossier d'architecture

Composants retenus, flux de données, modèle sélectionné et motifs du choix, conditions de réversibilité.

Jeu de test de référence

Questions réelles, réponses attendues et cas pièges, avec les résultats mesurés pour chaque version du système.

Mise en service de l'assistant

Application intégrée à l'environnement de travail des utilisateurs, avec ses garde-fous et sa journalisation.

Dossier d'exploitation

Indicateurs suivis, procédure de mise à jour du corpus, procédure de changement de modèle, rôles de l'équipe responsable.

Insights

À lire sur le sujet

Tous les insights
L'observabilité de l'IA générative ajoute à la latence le coût, la qualité des réponses et la dérive

L'observabilité de l'IA générative désigne les mesures relevées sur une application fondée sur un modèle de langage en production : latence, coût par demande, qualité des réponses évaluée, taux d'échec des appels d'outils, dérive. Management Square expose ici la manière d'établir chaque mesure, le lecteur qu'elle sert et l'angle mort qu'elle laisse.

Lire l'analyse
Les défis éthiques de l'IA générative lus dans les textes publics de référence

Un défi éthique de l'IA générative est, par convention, une question que la loi ne suffit pas à trancher : biais, contenus trompeurs, droit d'auteur, transparence, travail, empreinte environnementale. Management Square lit ce qu'en disent la Recommandation de l'OCDE sur l'IA, les lignes directrices européennes de 2019 et le droit de l'Union, puis propose une manière d'en tirer des choix motivés pour chaque usage.

Lire l'analyse
Comparer les cas d'usage de l'IA dans le retail avant d'en financer un

L'IA dans le retail réunit des cas d'usage (prévision de la demande, recommandation, tarification, relation client, logistique) qui diffèrent par les données qu'ils demandent, le délai avant un résultat vérifiable et le risque pour le client. Management Square les compare ici sur ces trois critères et indique les situations d'enseigne où chacun mérite d'être engagé en premier.

Lire l'analyse

Management Square en chiffres

+ 300
projets menés
+ 43
clients accompagnés
Depuis2015
au service de nos clients
  • Allianz
  • Euler Hermes
  • Groupe BPCE
  • ODDO BHF
  • Candriam
  • Ledger
  • Saur
  • Veolia
  • Voltalia
  • emeis
  • Bonpoint
  • Legal Suite

FAQ

Questions fréquentes

Une autre question ? Posez-la-nous

Quelle différence entre un LLM et un système RAG ?

Un LLM est un modèle de langage qui génère du texte à partir de ce qu'il a appris pendant son entraînement. Un système RAG (génération augmentée par la recherche) entoure ce modèle d'un moteur de recherche documentaire : il retrouve les passages pertinents dans une base de documents et les transmet au modèle pour qu'il réponde à partir d'eux. Le LLM est un composant, le RAG est une architecture.

Faut-il entraîner son propre modèle pour déployer l'IA générative en entreprise ?

Rarement. La plupart des besoins documentaires se traitent avec un modèle existant auquel on fournit les bons passages au moment de la question. L'ajustement d'un modèle sur des exemples propres à l'organisation se justifie pour une tâche très spécialisée ou un format de sortie strict, et il crée une charge de maintenance à chaque évolution du modèle de base.

Comment limiter les hallucinations d'un assistant d'IA générative ?

On ne les supprime pas, on les réduit et on les rend détectables. Les leviers sont connus : fournir au modèle des passages sources pertinents, lui imposer de citer ces sources, prévoir un refus explicite lorsque l'information manque, et mesurer la fidélité des réponses sur un jeu de test rejoué à chaque version. Pour les usages sensibles, une relecture humaine reste nécessaire.

Nos données restent-elles confidentielles avec un modèle de langage externe ?

Cela dépend du mode de déploiement et du contrat. Les points à vérifier sont la réutilisation éventuelle des données par le fournisseur, le lieu de traitement, la durée de conservation et les journaux. Selon la sensibilité des informations, la réponse peut être un service avec engagements contractuels, un hébergement dans un cloud répondant à vos exigences de souveraineté ou un modèle ouvert exploité par vos équipes.

Qu'est-ce qui détermine le coût d'exploitation d'un assistant ?

Le coût dépend surtout du volume de texte envoyé au modèle et reçu de lui à chaque requête, du nombre d'appels nécessaires pour produire une réponse, du modèle retenu et du nombre de requêtes. S'y ajoutent l'infrastructure de recherche documentaire, la mise à jour du corpus et le travail d'évaluation continue. Ces paramètres se mesurent dès le pilote, ce qui permet d'estimer le coût avant la généralisation.

Un projet à faire aboutir ?

Un premier échange suffit pour situer votre enjeu, identifier les bons interlocuteurs et vous dire franchement ce que nous pouvons apporter.