Produktives RAG für Unternehmensdokumente

Die Herausforderung

Routinefragen zu beantworten hieß, PDFs, Wikis und ERPNext-Datensätze von Hand zu durchsuchen. Antworten waren langsam, uneinheitlich und hingen davon ab, wer gerade wusste, wo etwas liegt.

Das Vorgehen

1. 01

   Die Dokumentquellen wurden zusammengeführt und eine Ingest-Pipeline mit semantischem Chunking gebaut.

2. 02

   Hybrides Retrieval wurde umgesetzt, dichte Embeddings plus BM25-Fallback, mit Cross-Encoder-Reranking für die Präzision.

3. 03

   Antworten laufen über eine schlichte Chatoberfläche, jede Antwort verlinkt zurück auf ihre Quelle.

4. 04

   Das Retrieval wurde gegen echte Fragen justiert und eine Evaluation ergänzt, um Regressionen vor dem Ausliefern zu finden.

Architektur

Was schwierig war

• Über die Genauigkeit entschied das Chunking, nicht das Modell. Ein Split nach Tokenzahl zerriss Tabellen und Klauselgrenzen, und die Retrieval-Qualität bewegte sich stärker durch dessen Korrektur als durch jede Prompt-Änderung.

• Die dichte Suche verfehlte immer wieder exakte Begriffe: eine Teilenummer, einen Richtliniencode, ein Datum. Genau dafür ist der BM25-Zweig da, und zwei Rankings sinnvoll zusammenzuführen brauchte mehr Iterationen als das Hinzufügen des zweiten Index.

• Ohne Evaluation sind Regressionen unsichtbar. Eine Änderung, die fünf Antworten verbessert und zwei kaputt macht, sieht wie eine Verbesserung aus, bis jemand auf die zwei stößt, also musste ein Fragenkatalog mit bekannten Sollantworten existieren, bevor Tuning überhaupt etwas bedeuten konnte.