RAG en production sur des documents d'entreprise

Le défi

Répondre aux questions de routine supposait de fouiller à la main des PDF, des wikis et des enregistrements ERPNext. Les réponses étaient lentes, incohérentes et dépendaient de qui savait où les choses se trouvaient.

La démarche

1. 01

   Consolidation des sources documentaires et construction d'un pipeline d'ingestion avec découpage sémantique.

2. 02

   Mise en place d'une recherche hybride, plongements denses plus repli BM25, avec reclassement par cross-encoder pour la précision.

3. 03

   Réponses exposées via une interface de discussion simple, chaque réponse renvoyant à sa source.

4. 04

   Recherche calibrée sur de vraies questions et évaluation ajoutée pour repérer les régressions avant la mise en ligne.

Architecture

Ce qui a été difficile

• C'est le découpage qui a décidé de la précision, pas le modèle. Découper au nombre de jetons cassait les tableaux et les frontières de clauses, et la qualité de recherche a plus bougé en corrigeant cela qu'avec n'importe quel changement d'invite.

• La recherche dense manquait sans cesse les termes exacts : une référence de pièce, un code de politique, une date. C'est à cela que sert la branche BM25, et fusionner deux classements de façon sensée a demandé plus d'itérations que d'ajouter le second index.

• Sans évaluation, les régressions sont invisibles. Un changement qui améliore cinq réponses et en casse deux ressemble à une amélioration jusqu'à ce que quelqu'un tombe sur les deux, donc un jeu de questions à réponses connues devait exister avant que le réglage n'ait le moindre sens.