RAG в продакшене по корпоративным документам

Задача

Ответы на рутинные вопросы означали ручной перебор PDF, вики и записей ERPNext. Ответы были медленными, разными от раза к разу и зависели от того, кто помнил, где что лежит.

Подход

1. 01

   Источники документов сведены вместе, построен конвейер приёма с семантической нарезкой.

2. 02

   Реализован гибридный поиск, плотные эмбеддинги плюс запасной BM25, с переранжированием кросс-энкодером ради точности.

3. 03

   Ответы выведены в простой чат-интерфейс, каждый ответ ссылается на свой источник.

4. 04

   Поиск откалиброван по реальным вопросам, добавлена оценка качества, чтобы ловить регрессии до выката.

Архитектура

Что было сложным

• Точность определила нарезка, а не модель. Деление по числу токенов ломало таблицы и границы пунктов, и качество поиска сдвинулось сильнее от исправления этого, чем от любой правки промпта.

• Плотный поиск раз за разом промахивался мимо точных терминов: номера детали, кода регламента, даты. Именно для этого нужна ветка BM25, а разумно свести два ранжирования заняло больше итераций, чем добавить второй индекс.

• Без оценки качества регрессии невидимы. Изменение, улучшающее пять ответов и ломающее два, выглядит улучшением, пока кто-то не наткнётся на эти два, поэтому набор вопросов с эталонными ответами должен был появиться до того, как настройка начала что-то значить.