Skip to content

大模型为什么会产生幻觉?

3 分钟速学卡

30 秒口述: 大模型的训练目标主要是预测在当前上下文中概率较高的下一 Token,而不是查询一个实时、可验证的事实数据库,所以语言流畅与事实正确不是同一目标。幻觉还可能来自训练数据冲突或缺失、问题歧义、上下文错误、检索失败、工具返回异常和解码随机性。治理要先按链路定位证据在哪一层丢失,再用权威工具或 RAG、引用约束、拒答、结构校验和分层评测降低风险,而不是承诺完全消除。

  • 本质: 模型优化的是概率续写,不是内置事实查询,因此流畅不等于真实。
  • 核心机制: 幻觉根因可能分布在整条应用链路;RAG 和低温都不能保证零幻觉。
  • 关键判断: 治理依赖证据、引用、拒答、权威工具和分层评测;排障要找“正确证据首次消失”的层级。
  • 项目落地: 故障演练:客服回答给出错误退款期限。先保存原始问题、检索候选、final_context、工具响应、Prompt 和模型版本。
  • 边界与坑: “幻觉是因为 Temperature 太高”:低温只能减少随机性,不能补事实;“加 RAG 就不会幻觉”:错误检索和不忠实生成仍会失败。

目录

面试官为什么问

这道题考察候选人是否理解模型目标与事实性的错位,并能把“模型幻觉”拆成数据、检索、上下文、工具、生成和验证各层故障。

小白先看懂

一位表达流畅的即兴讲解员被问到陌生展品。如果没有资料,他仍可能根据常见模式拼出听起来合理的故事。训练语料像过去听过的讲解,当前资料像上下文,逐词组织语言像下一 Token 预测。给他权威展签、允许说“不知道”并要求指出出处,可以降低胡编风险。

类比不能说明概率模型内部机制,也不能把所有错误都归为模型:资料检索错、工具接口错和业务规则错同样会产出错误答案。

图:教学图片|大模型为什么会产生幻觉?

替代文本: 16:9 中文教学图,讲解员面对陌生展品,左侧没有资料时拼接流畅故事,右侧拿到权威展签后引用或拒答;下方映射应用链路。

大模型为什么会产生幻觉?教学图片

读图结论: 先定位证据在哪层丢失,再决定修检索、工具、Prompt 或模型。

这张图片用于解释语言流畅与事实正确为何不是同一目标,并展示错误来源分层。精确公式、参数、失败分支和事实边界仍以正文与 Mermaid 为准。

图片生成记录: model=gpt-image-2generated=2026-07-15prompt_version=v1reviewed=2026-07-16review_basis=user-confirmed查看生成 Prompt

图:事实答案在多层链路中的失真点

替代文本: 用户问题依次经过查询理解、检索或工具、上下文构造、模型生成和引用验证;每层都可能引入错误,验证失败时应拒答、重试权威工具或转人工。

图表加载中…

读图结论: “答案错”不等于“纯模型幻觉”;必须定位正确证据在哪一层首次消失。

核心原理

自回归模型近似:

p(x1:n)=t=1np(xtx<t)

最大似然训练提升对训练分布文本的预测能力,但没有自动接入最新事实,也不自带“真值检查器”。冲突语料、长尾知识、上下文噪声和对“必须回答”的对齐倾向会放大无依据生成。

评测应区分答案正确性、引用支持率、可回答性、拒答准确性和工具成功率,而不是只汇总一个模糊“幻觉率”。

项目和生产视角

故障演练: 客服回答给出错误退款期限。先保存原始问题、检索候选、final_context、工具响应、Prompt 和模型版本;若权威条款未召回,修检索和权限;若已进入上下文但回答冲突,强化引用约束、冲突检测和拒答;若工具返回旧数据,修业务真值链路。

高风险动作必须使用受控 API/SQL 读取实时真值,并在执行前二次确认。本文是演练,不代表真实事故。

常见错误回答

  • “幻觉是因为 Temperature 太高”:低温只能减少随机性,不能补事实。
  • “加 RAG 就不会幻觉”:错误检索和不忠实生成仍会失败。
  • “模型参数越大越不会错”:规模不等于事实保证。
  • “所有错误都叫模型幻觉”:还应区分检索、工具、数据和业务逻辑错误。

递进追问

  1. 如何定义和标注“幻觉”?
  2. 正确证据已在上下文中但模型仍答错,怎样治理?
  3. RAG 的引用支持率如何评估?
  4. 如何设计拒答而不过度拒绝?
  5. 高风险 Agent 如何防止错误答案变成错误动作?

关联阅读

总结

一句话记忆: 模型优化的是概率续写,不是内置事实查询,因此流畅不等于真实。

  • 幻觉根因可能分布在整条应用链路。
  • RAG 和低温都不能保证零幻觉。
  • 治理依赖证据、引用、拒答、权威工具和分层评测。
  • 排障要找“正确证据首次消失”的层级。