AI Knowledge

外观

RAG 检索优化 极简一问一答 ​

定位｜ RAG 检索优化 一分钟速答页。每章固定 10 题，只保留结论、机制、边界与验证关键词；单个回答控制在 10～60 秒。

1. 怎么使用 ​

本页重点｜ L1 概念 → L2 边界 → L3 原理 → L4 实现 → L5 工程 → L6 架构 → L7 复盘 → 误区、验证、证据强化。不会展开时，再进入正式主题或专项题库。

图：RAG 检索优化 十题极简脑图

替代文本： RAG 检索优化从 L1 概念和 L2 边界，依次进入 L3 原理、L4 实现、L5 工程、L6 架构与 L7 项目复盘，再用误区、最小自测和证据边界三题强化。

图表加载中…

读图结论： 掌握 RAG 检索优化 不能停在定义；先顺着七层链路说清机制与工程，再用误区、自测和证据边界确认没有虚假掌握。

2. 极简一问一答 ​

Q001｜RAG 如何平衡召回率与精确率，为什么要分召回和重排两阶段？

我会把目标拆成候选 Recall、前排 Precision 和最终答案质量：Sparse/Dense 用较大的 k_recall 快速保覆盖，融合去重后只把有限 k_rerank 候选送给 Cross-Encoder，最后按 k_context 或 Token 预算选证据。K 过小会漏召回，过大会增加重复、冲突、尾延迟和窗口挤压；Reranker 只能改善已有候选顺序，不能补回漏掉的证据，所以 K 必须在固定集上联合 Recall、排序、答案、P99 和成本实测。

Q002｜关键词检索和语义检索有什么区别，如何与融合、重排协作？

BM25 根据分词、词频、IDF 和字段权重匹配，适合错误码、字段名、版本号和精确短语，但对词面不重合的同义问法较弱；Dense 把 Query 与文档编码到向量空间，适合语义改写，但依赖领域 Embedding，可能把“意思接近但事实不相关”的内容排高。两路通常互补：RRF 融合不可直接比较的排名，Cross-Encoder 对有限候选联合精排，MMR 再按需要控制重复；是否采用混合链路必须在相同查询分桶上比较 Recall、排序、延迟和成本。

Q003｜BM25、RRF 和 MMR 的核心直觉与公式边界是什么？

BM25 用 IDF 强调稀有词，以 k1 控制词频饱和、以 b 校正文档长度；RRF 按 Σ 1/(c+rank_r(d)) 融合名次，避免未经校准直接相加异构分数，但会丢失分数幅度；MMR 用 λ sim(q,d) - (1-λ) max sim(d,s) 平衡查询相关性与已选结果重复度。三者参数都依赖语料与任务，没有通用最优值。

Q004｜如何实现一个可诊断且权限安全的混合检索漏斗？

我会保留 raw_query，对规范化、别名和受约束改写做版本记录；可信服务端生成 ACL/版本硬过滤并推入 BM25 与 Dense 两路，候选携带 stable_id、retriever、rank、score、index_version 与过滤理由。随后去重、RRF 融合、有限候选 Cross-Encoder 重排、二次授权、必要时 MMR/父块展开，最后在 Token 预算内选上下文，并保存每层快照供重放。

Q005｜线上偶发检索为空或回答跑偏，如何用日志和数据逐层定位？

我先固定失败 request_id、raw/rewrite query、身份/ACL 和语料、索引、Embedding、Reranker、Prompt、Model 版本，再找正确证据第一次消失的位置。偶发空召回先比较各节点 candidate_count、过滤前后数量、索引别名、缓存、依赖超时和版本一致性；稳定空召回再查文档是否存在、Chunk 是否过细/过大、Analyzer、向量相似度与 ANN。回答跑偏先看正确证据是否进入 final_context：未进入就查融合、重排、去重、父块和 Token 预算，已经进入才查窗口截断、冲突证据、Prompt 和生成忠实度。修复后重放原样本和相邻分桶，并固化 EvalCase、告警与 Runbook。

Q006｜如何设计可灰度、可降级、可回滚的检索服务？

我会把 normalizer、router、filter、sparse、dense、fusion、reranker 和 context selector 分层版本化，硬权限与版本过滤独立于模型配置；候选版通过固定标注集、影子流量和按查询类型灰度比较，再逐级扩量。Dense 或 Reranker 超时可退回受权的 BM25/融合排名并标记 degraded，各层保留开关和旧版配置，缓存键绑定权限、语料、索引与检索版本以支持原子回退。

Q007｜如何为多版本 API 文档助手设计检索优化？

这是源文档中的示例设计：错误码与字段名走字段级 BM25，自然语言故障由 Dense 补召回，可信版本/产品/租户过滤进入两路检索，未校准分数用 RRF 融合，有限候选再 Cross-Encoder 精排并按需父块展开。难点是改写保真、硬版本冲突和 Reranker 截断；代表性风险包括错误码被分词拆坏、ACL 缓存越界与 p95 长尾。验收应分桶比较 Recall@k、MRR/nDCG、端到端答案、阶段延迟和越权用例；本文没有真实实验，不能报告提升比例、延迟或成本数字。

Q008｜这个专题最常见的误区是什么？

常见误区有三类：用“增大 Top-k”同时解决漏召回和回答跑偏，或声称 Reranker 能补回未召回文档；先跨权限全库检索再过滤，或只保存最终答案而没有中间候选；把权限当可降级功能，或只记录一个“检索版本”无法定位变化。

Q009｜怎样做最小自测？

最小自测分三步：用错误码与同义问法构造一个 BM25/Dense 互补小数据集；手算两路排名的 RRF，并说明它丢失了什么信息；注入 Reranker 输入截断，比较融合前后 stable_id 的排名变化。

Q010｜回答这个专题时，证据边界是什么？

异构检索分数未经校准不能直接相加，Reranker 只能重排已召回候选，参数与质量结论都要用目标评测集验证。

3. 总结 ​

一句话记忆： 我会把目标拆成候选 Recall、前排 Precision 和最终答案质量：Sparse/Dense 用较大的 k_recall 快速保覆盖，融合去重后只把有限 k_rerank 候选送给 Cross-Encoder，最后按 k_context 或 Token 预算选证据。

  • 我会把目标拆成候选 Recall、前排 Precision 和最终答案质量：Sparse/Dense 用较大的 k_recall 快速保覆盖，融合去重后只把有限 k_rerank 候选送给 Cross-Encoder，最后按 k_context 或 Token 预算选证据。
  • 我先固定失败 request_id、raw/rewrite query、身份/ACL 和语料、索引、Embedding、Reranker、Prompt、Model 版本，再找正确证据第一次消失的位置。
  • 常见误区有三类：用“增大 Top-k”同时解决漏召回和回答跑偏，或声称 Reranker 能补回未召回文档。
  • 异构检索分数未经校准不能直接相加，Reranker 只能重排已召回候选，参数与质量结论都要用目标评测集验证。