Intégrer un LLM à votre solution de gestion du courrier : la plateforme IDP doit-elle être transférée ?

Docbyte a collaboré avec un grand assureur afin d'intégrer un modèle linguistique de grande envergure (LLM) en tant que couche de raisonnement contextuel au-dessus d'un workflow documentaire existant. Le workflow lui-même a été conservé.

L'assureur traitement intelligent des documents Le workflow (IDP) traitait déjà la correspondance entrante des clients et des courtiers, mais en recourant à des technologies plus traditionnelles : des modèles d’apprentissage automatique basés sur le cloud, associés à des règles de mots-clés. Rien d’extraordinaire, mais cela fonctionnait. Ce système nécessitait toutefois des ajustements constants, car les formats de documents, les produits et la terminologie évoluent sans cesse, et il était difficile de distinguer de manière fiable les types de documents présentant une grande similitude. Les modèles d’apprentissage automatique ne disposaient pas de la capacité requise pour raisonner à partir des nuances et du contexte, que des règles rigides ne pouvaient tout simplement pas saisir.

Le problème : un processus qui nécessitait sans cesse une intervention

Le flux de travail traite environ 50 000 documents par jour ouvré. Environ 97% des documents entrants sont des e-mails provenant de clients, d’assureurs et de courtiers, souvent accompagnés de plusieurs pièces jointes, pour la plupart générées numériquement, mais comportant également quelques scans et des éléments manuscrits. Pour chacun de ces documents, le processus nécessite deux informations : à quel dossier de sinistre existant il se rapporte, et de quel type de demande il s’agit.

Il s’agit donc clairement d’une tâche de classification de l’information : identifier le type de document, le type de dossier et le numéro de sinistre appropriés. La classification est plus complexe que l’extraction de données. De nombreuses plateformes de reconnaissance automatique de documents (IDP) ne proposent que l’extraction, car elles partent du principe que : “ Il suffit d’extraire le numéro de sinistre et quelques mots-clés ! ”

Si le type est incorrect mais que la casse est correcte, le document est réaffecté rapidement. En l'absence totale de correspondance de casse, le document est transmis à un contrôle humain, car il n'y a pas
une solution de repli automatisée et sûre à cet effet. La classification par type est importante, mais il s'agit d'un critère secondaire.

L'assureur a testé cette approche au sein de son pôle d'assurance automobile : le pôle qui génère le plus grand volume d'activité et celui dont l'ensemble de documents est le plus complexe et le plus difficile à analyser. Ce choix a été délibérément fait afin de constituer un cas test exigeant. Si la couche de raisonnement ne parvenait pas à surmonter l’obstacle que représentait le problème le plus difficile rencontré par l’entreprise, cela ne valait pas la peine de poursuivre son développement.

Le projet pilote a porté sur 16 catégories de documents définies par l'entreprise : demandes de devis, offres et contrats, modifications de police, inscriptions
ainsi que les demandes d'annulation, les avis de radiation, les demandes d'informations, les avis de décès et les avis de faillite. Ceux-ci ne sont pas toujours visuellement
des modèles distincts. Un avis de radiation, en cas de retrait d’une plaque d’immatriculation, peut également impliquer la résiliation de l’assurance correspondante. Il s’agit d’un événement commercial spécifique, et non d’une formulation standard relative à une résiliation. C’est précisément le genre d’ambiguïté que les modèles d’apprentissage automatique, formés à partir de mots-clés et d’exemples, ont du mal à gérer.

La situation de départ : un système qui perdait du terrain

Avant de tester quoi que ce soit de nouveau, l’équipe a évalué la situation réelle. Le modèle existant utilise l’OCR comme donnée d’entrée ; il avait initialement atteint une précision d’environ 60% pour cette tâche, avant de voir ses performances baisser à environ 40% à mesure que les formats et la terminologie évoluaient. Un réentraînement n’était pas non plus envisageable. Les types de documents n’ayant jamais été reclassés de manière cohérente, il n’existait aucune source fiable de référence sur laquelle baser l’entraînement.

Cette baisse avait plus d'importance que le chiffre brut. Un modèle qui perd en précision au fil du temps impose de recourir davantage à la vérification manuelle, et cette évolution
s'aggrave à mesure que le modèle fonctionne sans modification.

Ce qui a été mis en place : un modèle de langage de grande capacité (LLM) intégré à la plateforme existante

Le projet a conservé le flux de travail des documents contrôlés tel quel et y a ajouté un LLM en tant que couche de raisonnement. Le pipeline :

1. Enregistrez l'e-mail et ses pièces jointes, y compris les documents numérisés.
2. Convertissez les données d'entrée en un fichier PDF.
3. Envoyez-le au LLM en y joignant les classifications autorisées, les définitions métier et les règles de décision.
4. Renvoie le numéro de dossier, une classification structurée et l'explication générée par le modèle.
5. Validez le résultat et exportez-le vers l'environnement de gestion des dossiers, où s'effectuent les véritables actions en aval.

Le modèle ne se voit pas confier une tâche ouverte. Afin de réduire le risque et l’impact opérationnel lié aux réponses non validées, chaque requête lance une nouvelle session restreinte, et la classification doit provenir d’un ensemble fermé de valeurs autorisées. Les services déterministes continuent de contrôler la validation, le routage, le stockage et l’exécution du flux de travail. C’est cette limitation qui permet de se fier aux résultats du modèle sans avoir à se fier à la
le modèle lui-même.
Étant donné que la cession des demandes d'indemnisation est l'indicateur qui importe, le pipeline la traite en conséquence : le numéro de dossier extrait passe par un processus déterministe
Les résultats valides et invalides sont transmis à un intervenant plutôt que d’être automatiquement associés à une correspondance apparemment plausible. Les erreurs de classification sont traitées avec plus d’indulgence, car elles sont moins coûteuses à corriger. L’explication générée par le modèle s’affiche également dans l’interface. Elle ne constitue pas non plus une preuve que la réponse est correcte, mais elle permet aux personnes chargées du dossier de comprendre pourquoi le document a abouti à cette classification, plutôt que de se le renvoyer sans cesse d’un service à l’autre. C’est plus ou moins la même approche que celle qui devrait être adoptée avec des chargés de dossier humains, où une personne classerait un document différemment de son collègue. De plus, cela aide les équipes de mise en œuvre à repérer les erreurs systématiques et à affiner les définitions des documents.

Ces erreurs nous ont appris quelque chose d'utile

La confusion la plus fréquente concernait la distinction entre un avis de radiation et une annulation générale. Plutôt que de lancer un cycle de réentraînement, ce problème a été résolu en affinant la définition de la classification : la radiation est désormais considérée comme un sous-type spécifique de l’annulation, explicitement lié au retrait de la plaque d’immatriculation. La correction d’un schéma d’erreur connu nécessite la modification d’une définition plutôt que la formation ou le réentraînement d’un modèle.

Un test distinct a permis de vérifier si le LLM apportait une valeur ajoutée sur les documents les plus importants : ceux que le modèle d’apprentissage automatique existant avait déjà mal classés. Le LLM a correctement classé 7% des documents de ce sous-ensemble, sélectionnés précisément parce que le modèle existant les avait mal classés. Il ne s’agit pas d’une comparaison globale à égalité de conditions, puisque la précision du modèle existant sur ce même sous-ensemble est, par construction, de 0%, mais cela montre que la couche de raisonnement a corrigé une part significative des erreurs du flux de travail existant. Cela signifie que le taux de réussite est passé de 0% à 73% pour ces exceptions.

Les résultats obtenus à ce jour

Les chiffres ci-dessous évaluent la classification par type de document, qui constitue l'indicateur secondaire. L'attribution des dossiers n'est pas évaluée de la même manière : le numéro de dossier extrait est soit validé de manière déterministe, soit rejeté, et tout cas incertain fait l'objet d'un examen humain plutôt que d'apparaître sous forme de pourcentage.

Le chiffre de 80% a été atteint sans formation ni ajustement supplémentaires du modèle, sur un ensemble de test initial vérifié manuellement et examiné avec les experts métier de l’assureur. Cet avantage tient à la capacité du modèle à évaluer la relation entre les expressions contenues dans un e-mail et ses pièces jointes, et à appliquer une définition métier rédigée en langage naturel plutôt qu’une définition intégrée à un classificateur propriétaire pouvant faire l’objet d’un réentraînement.

Ce que cela implique pour l'entreprise

Au quotidien, le flux de travail se déroule désormais différemment, et ce de trois manières concrètes.

• Traitement multilingue : la solution aboutit aux mêmes résultats dans toutes les langues, sans qu'il soit nécessaire de disposer d'un ensemble de documents pour chaque langue afin d'entraîner le modèle.
• L'affinement des règles devient plus simple : une confusion courante, comme le chevauchement entre la désinscription et l'annulation, est corrigée en précisant une définition, et non en réentraînant un modèle ou en attendant un cycle de mise à jour.
• Le processus d'examen gagne en transparence : l'explication générée par le modèle s'affiche directement dans l'interface, ce qui permet aux personnes chargées du dossier de comprendre immédiatement pourquoi celui-ci a été classé ainsi, sans avoir à le faire circuler pour en connaître la raison.

Un conseil : faites intervenir le service de sécurité et le délégué à la protection des données avant que l'analyse de rentabilité ne soit finalisée

Une analyse de rentabilité solide ne suffit pas à elle seule. Si l'entreprise souhaite intégrer un LLM dans son processus de travail, mais que la sécurité ou le délégué à la protection des données
Si les modalités relatives à la destination des données, à leur conservation et aux personnes autorisées à y accéder n’ont pas été validées, le projet ne verra pas le jour, quelle que soit la qualité des chiffres de précision. Impliquez ces parties prenantes pendant que l’architecture est encore en cours de définition, et non après qu’un projet pilote a déjà validé le concept. C’est cet ordre des opérations qui, le plus souvent, bloque un projet pilote fonctionnel avant qu’il n’atteigne la phase de production : les conditions relatives aux flux de données, à leur conservation et aux responsables du traitement ne sont examinées qu’une fois que le concept fonctionne déjà, au lieu de l’être alors que l’architecture est encore en cours de définition.

La conception et le développement initial ont duré environ trois à quatre mois. La majeure partie de ce temps a été consacrée à la refonte du pipeline lui-même, ainsi qu’à
des échanges avec l’entreprise concernant les types de documents et ce qui les distingue les uns des autres. Le LLM ne rend pas superflue cette connaissance métier. Il facilite son expression, sa validation et son affinement, ce qui correspond exactement au travail actuellement en cours pour passer de la version 80% à la version 90%.

IDP continue d'assurer la saisie, la structuration et le contrôle, tandis que le LLM y ajoute une interprétation contextuelle. Les règles métier, la validation et
Ce sont les personnes qui font de cette combinaison un processus digne de confiance. Plutôt que de se concentrer uniquement sur la précision de la classification, l'indicateur clé est la fréquence à laquelle le document est attribué au bon dossier dès le premier essai.

Vérifiez comment votre processus de gestion des documents traite les cas qui ne correspondent pas au modèle

Nous pouvons vous aider à identifier les étapes de votre flux de travail documentaire où l'intégration d'une couche de raisonnement basée sur un modèle de langage de grande envergure (LLM) serait la plus utile : quelles classifications sont ambiguës, à quoi ressemble un recours sûr à la révision humaine, et comment la validation des cas reste déterministe tandis que le modèle se charge de l'interprétation.

FAQ

L'ajout d'un LLM implique-t-il la suppression du système IDP actuel ?

Non. Le LLM s'ajoute au flux de travail existant en tant que couche de raisonnement. La validation déterministe, l'acheminement et la gestion des dossiers continuent de régir les étapes en aval.

Pourquoi mesurer l'attribution des cas plutôt que la précision globale de la classification ?

En effet, ces deux erreurs ont des coûts différents. Un document qui correspond au bon cas mais dont le type est erroné peut être réattribué rapidement. Un document qui ne correspond à aucun cas est soumis à une vérification manuelle, sans solution de repli automatisée.

Pourquoi commencer par la série de documents la plus difficile plutôt que par la plus facile ?

Afin de déterminer dès le début si cette approche tient la route dans des conditions réelles, plutôt que de démontrer un point moins important au sein d'une unité opérationnelle plus simple et de laisser en suspens la question la plus complexe.