検索7 分で読めます下書き
RAGが本番に出たとき、実際に壊れるもの
検索のデモは、実際の文書が届くまで見えない形で失敗します。その大半を占める三つの失敗と、感覚の代わりに測るべきものについて。
読む記事
AIエンジニアリングで難しいことの大半は、一度動いたあとに起こります。これはそれについての覚え書きです。静かに失敗する検索、誰も予算に入れなかった評価、そして紙の上では安く、コードでは高くつくアーキテクチャの判断について。
検索のデモは、実際の文書が届くまで見えない形で失敗します。その大半を占める三つの失敗と、感覚の代わりに測るべきものについて。
読む評価、監視、そして実際のユーザーが来てはじめて現れる失敗について。
読む一ページの文章は半日で書けて、放っておけば三週間後のプルリクエストで決着することになる議論を先に片づけます。
読む