RAG in productie op bedrijfsdocumenten

De uitdaging

Routinevragen beantwoorden betekende met de hand door pdf's, wiki's en ERPNext-records spitten. Antwoorden waren traag, inconsistent en afhankelijk van wie toevallig wist waar iets stond.

De aanpak

1. 01

   De documentbronnen zijn samengebracht en er is een ingest-pipeline met semantische chunking gebouwd.

2. 02

   Er is hybride retrieval gebouwd, dichte embeddings plus BM25-terugval, met cross-encoder-herrangschikking voor de precisie.

3. 03

   Antwoorden zijn ontsloten via een eenvoudige chatinterface, waarbij elk antwoord terugverwijst naar zijn bron.

4. 04

   Het retrieval is geijkt op echte vragen en er is evaluatie toegevoegd om regressies te vangen vóór ze live gingen.

Architectuur

Wat lastig was

• De chunking bepaalde de nauwkeurigheid, niet het model. Splitsen op tokenaantal brak tabellen en clausulegrenzen, en de retrievalkwaliteit bewoog meer door dat te repareren dan door welke promptwijziging dan ook.

• Dicht zoeken bleef exacte termen missen: een onderdeelnummer, een beleidscode, een datum. Daar is de BM25-tak voor, en twee rangschikkingen zinnig samenvoegen kostte meer iteraties dan het toevoegen van de tweede index.

• Zonder evaluatie zijn regressies onzichtbaar. Een wijziging die vijf antwoorden verbetert en er twee kapotmaakt lijkt een verbetering tot iemand op die twee stuit, dus er moest een vragenset met bekende goede antwoorden bestaan voordat afstellen iets kon betekenen.