RAG en producción sobre documentos de empresa

El reto

Responder preguntas rutinarias implicaba rebuscar a mano entre PDF, wikis y registros de ERPNext. Las respuestas eran lentas, inconsistentes y dependían de quién supiera dónde estaban las cosas.

El enfoque

1. 01

   Se consolidaron las fuentes documentales y se construyó un pipeline de ingesta con troceado semántico.

2. 02

   Se implementó recuperación híbrida, embeddings densos más respaldo BM25, con reordenación por cross-encoder para la precisión.

3. 03

   Las respuestas se expusieron en una interfaz de chat sencilla, con cada respuesta enlazada a su fuente.

4. 04

   Se ajustó la recuperación contra preguntas reales y se añadió evaluación para detectar regresiones antes de publicar.

Arquitectura

Lo que fue difícil

• La precisión la decidió el troceado, no el modelo. Partir por número de tokens rompía tablas y límites de cláusula, y la calidad de recuperación se movió más al corregir eso que con ningún cambio de indicación.

• La búsqueda densa fallaba una y otra vez con términos exactos: un número de pieza, un código de política, una fecha. Para eso está la rama BM25, y fusionar dos rankings con sensatez costó más iteraciones que añadir el segundo índice.

• Sin evaluación las regresiones son invisibles. Un cambio que mejora cinco respuestas y rompe dos parece una mejora hasta que alguien da con las dos, así que tenía que existir un conjunto de preguntas con respuestas conocidas antes de que el ajuste significara algo.