面向企业文档的生产级 RAG

挑战

回答常规问题意味着手工翻 PDF、wiki 和 ERPNext 记录。答案慢、不一致，而且取决于谁恰好知道东西放在哪。

做法

1. 01

   先把文档来源整合起来，构建带语义切分的入库流水线。

2. 02

   实现混合检索，稠密向量加 BM25 兜底，并用交叉编码器重排序以提升精度。

3. 03

   答案通过一个简洁的聊天界面呈现，每条回答都链接回它的出处。

4. 04

   对照真实问题调优检索，并加入评估，在上线前发现回退。

架构

难在哪里

• 决定准确率的是切分，不是模型。按 token 数切会切断表格和条款边界，检索质量因修好这一点而产生的变化，比任何提示词改动都大。

• 稠密检索一再漏掉精确词：一个料号、一个制度编号、一个日期。BM25 这条支路正是为此存在，而把两套排序合理地融合，比加上第二个索引本身花了更多轮迭代。

• 没有评估，回退就是看不见的。一个改动改好了五个答案、弄坏了两个，在有人撞上那两个之前看起来都是改进，所以必须先有一套已知正确答案的问题集，调优才谈得上有意义。