Skip to content

召回正确但回答跑偏,问题可能在哪?

3 分钟速学卡

30 秒口述: 召回正确只说明证据进入了候选集,我会继续检查重排是否把它压低、去重和 k_context 是否丢掉它、Chunk 是否缺上下文、最终 final_context 是否被 Token 截断,以及 Prompt 和模型是否正确使用证据。排障时要保存候选、重排分数、最终 Chunk 顺序、Token、截断原因和模型/Prompt 版本,找到正确证据首次消失或被忽略的位置。修复不能只增大 Top-k,而应针对精排、上下文构造、冲突证据、引用约束或模型遵循性做回放验证。

  • 本质: 候选中有证据不等于模型看到了、看全了并按证据回答。
  • 核心机制: 继续检查重排、选择、截断和生成;保存可重放的 final_context 与版本。
  • 关键判断: 冲突、重复和过期证据要在生成前治理;修复应同时验证检索、上下文、答案与引用。
  • 项目落地: 故障演练:正确条款在候选第 2 位,但多份重复旧版条款占满 k_context,最终答案引用过期规则。先强制有效期过滤和版本优先止损,再做近重复抑制、来源有效期治理与冲突样本回归。
  • 边界与坑: “把 Top-k 再调大。” 候选已经命中,更多候选可能只增加噪声;“一定是模型幻觉。” 先验证正确证据是否进入完整 final_context。

目录

面试官为什么问

这道题考察候选召回与最终上下文的区别,以及候选人能否沿完整链路归因生成失败。

小白先看懂

学生已经从书架拿到正确教材,却可能把关键页放在桌角、被重复资料盖住、因桌面太小裁掉,或看到了仍凭记忆作答。“拿到书”不等于“答案受到书中证据约束”。

学生动作技术映射
拿到正确教材候选召回命中
关键页排名靠后Reranker 失败
桌面放不下Token 截断
重复资料盖住重点上下文重复/冲突
凭记忆作答Prompt 或模型不遵循证据

专业机制要区分候选集、最终上下文和实际生成行为。类比忽略了模型注意力、长上下文位置效应和解码随机性。

主题教学图片

图:教学图片|召回正确但回答跑偏,问题可能在哪?

替代文本: 围绕“召回正确但回答跑偏,问题可能在哪?”组织的中文教学图,通过分区、箭头和标签解释核心机制。

召回正确但回答跑偏,问题可能在哪?教学图片

读图结论: 找到证据首次消失或被忽略的位置,再针对修复。

这张图片用于建立主题机制的直觉。精确公式、参数、失败分支和事实边界仍以正文与 Mermaid 为准。

图片生成记录: model=gpt-image-2generated=2026-07-15prompt_version=v1reviewed=2026-07-16review_basis=user-confirmed查看生成 Prompt

图:技术调用流程|正确证据从候选到答案的失踪点

替代文本: 正确证据进入候选后,仍可能在重排、上下文选择、Token 截断、Prompt 组装或模型生成阶段失效。

图表加载中…

读图结论: “召回正确”只是第一关,必须继续验证正确证据是否进入、保留并约束了最终生成。

每个判断节点都应有 Trace 证据,避免只看最终答案倒推。若证据冲突,还要定义来源优先级和有效期。

核心原理

候选召回指标回答“有没有”,重排回答“排在哪里”,上下文选择回答“是否真正送入模型”,生成评测回答“是否被正确使用”。正确 Chunk 若位于上下文尾部、被截断或缺少父级标题,仍可能失效。

上下文构造要记录 Chunk ID、来源、顺序、Token、去重、冲突与截断。Prompt 应要求证据不足时拒答,并让引用绑定具体 Chunk。

项目和生产视角

故障演练: 正确条款在候选第 2 位,但多份重复旧版条款占满 k_context,最终答案引用过期规则。先强制有效期过滤和版本优先止损,再做近重复抑制、来源有效期治理与冲突样本回归;这是演练场景。

修复后分别报告 Recall@K、最终上下文命中率、引用支持率、答案正确性、延迟与 Token,才能证明没有把问题从一层挪到另一层。

常见错误回答

  • “把 Top-k 再调大。” 候选已经命中,更多候选可能只增加噪声。
  • “一定是模型幻觉。” 先验证正确证据是否进入完整 final_context
  • “Prompt 写得更强就能解决。” 错误或冲突上下文不是措辞可以稳定修复的。

递进追问

  1. 如何记录并复现 final_context
  2. Chunk 命中但缺少父级标题时怎么处理?
  3. 多个版本证据冲突时如何决策?
  4. 如何测“正确证据进入最终上下文”的比例?
  5. 怎样区分 Prompt 问题与模型遵循性问题?

关联阅读

总结

一句话记忆: 候选中有证据不等于模型看到了、看全了并按证据回答。

  • 继续检查重排、选择、截断和生成;
  • 保存可重放的 final_context 与版本;
  • 冲突、重复和过期证据要在生成前治理;
  • 修复应同时验证检索、上下文、答案与引用。