外观
召回正确但回答跑偏,问题可能在哪?
3 分钟速学卡
30 秒口述: 召回正确只说明证据进入了候选集,我会继续检查重排是否把它压低、去重和 k_context 是否丢掉它、Chunk 是否缺上下文、最终 final_context 是否被 Token 截断,以及 Prompt 和模型是否正确使用证据。排障时要保存候选、重排分数、最终 Chunk 顺序、Token、截断原因和模型/Prompt 版本,找到正确证据首次消失或被忽略的位置。修复不能只增大 Top-k,而应针对精排、上下文构造、冲突证据、引用约束或模型遵循性做回放验证。
- 本质: 候选中有证据不等于模型看到了、看全了并按证据回答。
- 核心机制: 继续检查重排、选择、截断和生成;保存可重放的 final_context 与版本。
- 关键判断: 冲突、重复和过期证据要在生成前治理;修复应同时验证检索、上下文、答案与引用。
- 项目落地: 故障演练:正确条款在候选第 2 位,但多份重复旧版条款占满 k_context,最终答案引用过期规则。先强制有效期过滤和版本优先止损,再做近重复抑制、来源有效期治理与冲突样本回归。
- 边界与坑: “把 Top-k 再调大。” 候选已经命中,更多候选可能只增加噪声;“一定是模型幻觉。” 先验证正确证据是否进入完整 final_context。
目录
面试官为什么问
这道题考察候选召回与最终上下文的区别,以及候选人能否沿完整链路归因生成失败。
小白先看懂
学生已经从书架拿到正确教材,却可能把关键页放在桌角、被重复资料盖住、因桌面太小裁掉,或看到了仍凭记忆作答。“拿到书”不等于“答案受到书中证据约束”。
| 学生动作 | 技术映射 |
|---|---|
| 拿到正确教材 | 候选召回命中 |
| 关键页排名靠后 | Reranker 失败 |
| 桌面放不下 | Token 截断 |
| 重复资料盖住重点 | 上下文重复/冲突 |
| 凭记忆作答 | Prompt 或模型不遵循证据 |
专业机制要区分候选集、最终上下文和实际生成行为。类比忽略了模型注意力、长上下文位置效应和解码随机性。
主题教学图片
图:教学图片|召回正确但回答跑偏,问题可能在哪?
替代文本: 围绕“召回正确但回答跑偏,问题可能在哪?”组织的中文教学图,通过分区、箭头和标签解释核心机制。

读图结论: 找到证据首次消失或被忽略的位置,再针对修复。
这张图片用于建立主题机制的直觉。精确公式、参数、失败分支和事实边界仍以正文与 Mermaid 为准。
图片生成记录: model=gpt-image-2,generated=2026-07-15,prompt_version=v1,reviewed=2026-07-16,review_basis=user-confirmed;查看生成 Prompt。
图:技术调用流程|正确证据从候选到答案的失踪点
替代文本: 正确证据进入候选后,仍可能在重排、上下文选择、Token 截断、Prompt 组装或模型生成阶段失效。
图表加载中…
读图结论: “召回正确”只是第一关,必须继续验证正确证据是否进入、保留并约束了最终生成。
每个判断节点都应有 Trace 证据,避免只看最终答案倒推。若证据冲突,还要定义来源优先级和有效期。
核心原理
候选召回指标回答“有没有”,重排回答“排在哪里”,上下文选择回答“是否真正送入模型”,生成评测回答“是否被正确使用”。正确 Chunk 若位于上下文尾部、被截断或缺少父级标题,仍可能失效。
上下文构造要记录 Chunk ID、来源、顺序、Token、去重、冲突与截断。Prompt 应要求证据不足时拒答,并让引用绑定具体 Chunk。
项目和生产视角
故障演练: 正确条款在候选第 2 位,但多份重复旧版条款占满 k_context,最终答案引用过期规则。先强制有效期过滤和版本优先止损,再做近重复抑制、来源有效期治理与冲突样本回归;这是演练场景。
修复后分别报告 Recall@K、最终上下文命中率、引用支持率、答案正确性、延迟与 Token,才能证明没有把问题从一层挪到另一层。
常见错误回答
- “把 Top-k 再调大。” 候选已经命中,更多候选可能只增加噪声。
- “一定是模型幻觉。” 先验证正确证据是否进入完整
final_context。 - “Prompt 写得更强就能解决。” 错误或冲突上下文不是措辞可以稳定修复的。
递进追问
- 如何记录并复现
final_context? - Chunk 命中但缺少父级标题时怎么处理?
- 多个版本证据冲突时如何决策?
- 如何测“正确证据进入最终上下文”的比例?
- 怎样区分 Prompt 问题与模型遵循性问题?
关联阅读
总结
一句话记忆: 候选中有证据不等于模型看到了、看全了并按证据回答。
- 继续检查重排、选择、截断和生成;
- 保存可重放的
final_context与版本; - 冲突、重复和过期证据要在生成前治理;
- 修复应同时验证检索、上下文、答案与引用。