企業文書のための本番RAG

課題

日常的な質問に答えるには、PDF、wiki、ERPNextのレコードを手で掘り返す必要がありました。回答は遅く、ばらつきがあり、どこに何があるかを知っている人に依存していました。

アプローチ

1. 01

   文書のソースを統合し、意味的チャンク分割を備えた取り込みパイプラインを構築しました。

2. 02

   密なベクトルにBM25フォールバックを加えたハイブリッド検索を実装し、精度のためにクロスエンコーダーで再ランキングしました。

3. 03

   回答は簡素なチャット画面から提供し、すべての回答が出典にリンクします。

4. 04

   実際の質問に対して検索を調整し、公開前に劣化を捕らえるための評価を追加しました。

アーキテクチャ

難しかった点

• 精度を決めたのはモデルではなくチャンク分割でした。トークン数で切ると表や条項の境界が壊れ、検索品質はどの指示文の変更よりもそこの修正で動きました。

• 密な検索は正確な語を取りこぼし続けました。部品番号、規程コード、日付です。BM25の枝はそのためにあり、二つのランキングを妥当にまとめる作業のほうが、二つ目の索引を足すより多くの反復を要しました。

• 評価がなければ劣化は見えません。五つの回答を良くして二つを壊す変更は、誰かがその二つに当たるまで改善に見えます。だから調整に意味を持たせる前に、正解が分かっている質問セットが必要でした。