RAG i produktion på virksomhedsdokumenter

Udfordringen

At besvare rutinespørgsmål betød at rode manuelt i pdf'er, wikier og ERPNext-poster. Svarene var langsomme, uensartede og afhang af, hvem der tilfældigvis vidste, hvor tingene lå.

Fremgangsmåden

1. 01

   Dokumentkilderne blev samlet, og der blev bygget en ingest-pipeline med semantisk opdeling.

2. 02

   Hybrid retrieval blev sat op, tætte embeddings plus BM25-fallback, med cross-encoder-genrangering for præcisionen.

3. 03

   Svarene blev vist gennem en enkel chatgrænseflade, hvor hvert svar linker tilbage til sin kilde.

4. 04

   Retrievalet blev kalibreret mod rigtige spørgsmål, og der blev tilføjet evaluering for at fange regressioner, før de gik i luften.

Arkitektur

Det der var svært

• Det var opdelingen, der afgjorde præcisionen, ikke modellen. At dele efter antal tokens ødelagde tabeller og klausulgrænser, og retrievalkvaliteten flyttede sig mere ved at rette det end ved nogen promptændring.

• Tæt søgning blev ved med at ramme forbi præcise termer: et varenummer, en politikkode, en dato. Det er det, BM25-grenen er til, og at flette to rangeringer fornuftigt tog flere gennemløb end at tilføje det andet indeks.

• Uden evaluering er regressioner usynlige. En ændring, der forbedrer fem svar og ødelægger to, ligner en forbedring, indtil nogen rammer de to, så et spørgsmålssæt med kendte gode svar måtte findes, før tuning kunne betyde noget.