Skip to content

生产故障复盘目录

本目录收录能够独立复用的生产事故、Near Miss、故障演练和生产风险分析。每篇复盘必须遵守 子目录协作规则,完成事实边界、证据链、临时止损、根因、长期修复、验证和防复发闭环。

目录

1. 阅读与建设原则

11-troubleshooting/ 不复制知识主题和项目案例,而是回答一个独立生产问题如何从症状走到可证明修复:

影响与事实边界 → 日志、指标和 Trace → 根因假设与排除 → 临时止损 → 长期修复 → 回归验证 → 告警、测试与 Runbook

没有真实事故证据时,文档必须标为 failure-drillproduction-risk,不能用虚构指标包装成生产经历。

图:故障复盘从证据到防复发的建设路径

替代文本: 故障复盘先根据真实事故、Near Miss、故障演练或生产风险确定事实边界,再固定日志、指标、Trace、版本和失败样本;证据支持根因后实施止损与长期修复,通过原故障和相邻链路回归,最后沉淀告警、测试、Runbook 和面试表达。证据不足时返回补证,验证失败时返回根因分析。

图表加载中…

读图结论: 故障复盘不是“服务恢复”的记录,而是证据、修复、验证和防复发能够互相闭环的工程资产。

这张图只解释目录建设路径。每篇故障复盘正文仍必须生成主题专属的 gpt-image-2 故障教学图,并另外提供故障域架构 Mermaid 和故障恢复调用流程 Mermaid。

2. 已有复盘

文档事故类型难度文档状态学习状态图片状态影响域主要根因最后更新
检索服务降级与质量回退故障复盘故障演练高级drafttodogenerated-awaiting-reviewRAG 检索、ACL、索引发布与降级候选索引提前可读、Filter/ACL 版本不兼容、静默降级缺质量门禁2026-07-15
Agent 重复副作用与幂等补偿故障复盘故障演练高级drafttodogenerated-awaiting-reviewAgent 工具调用与外部副作用响应丢失后重试、缺少 UNKNOWN 状态与统一幂等门禁2026-07-15
AI 视频时间线、音画同步与局部返工故障复盘故障演练高级drafttodogenerated-awaiting-review音频、时间线、字幕、镜头与口型最终音频变化后旧时间线未失效,派生资产缺版本依赖2026-07-15
模型网关超时重试与级联故障复盘故障演练高级drafttodogenerated-awaiting-review模型网关、供应商与请求队列多层同步重试、缺少全链路 Deadline 和容量预算2026-07-15
异步任务卡死、重复消费与状态恢复故障复盘故障演练高级drafttodogenerated-awaiting-review任务状态、消息队列与外部副作用副作用成功后确认丢失,缺少幂等消费、租约和对账2026-07-15
权限过滤失效与敏感数据暴露 Near Miss 复盘Near Miss 设计稿高级drafttodogenerated-awaiting-reviewRAG 权限、缓存与引用Cache Key 缺权限指纹,命中后未做文档级再鉴权2026-07-15
GPU 资源耗尽与推理服务雪崩故障复盘故障演练高级drafttodogenerated-awaiting-review推理准入、批处理、显存与扩缩容Token/显存准入缺失,OOM、重启和重试形成反馈回路2026-07-15

当前 7 篇组成首批故障排查系列,覆盖 RAG、Agent、AI 视频、模型网关、异步任务、安全权限和 GPU 推理。每篇均提供主题专属 gpt-image-2 教学图、双 Mermaid、证据边界、修复横评和验证矩阵;由于没有真实事故数据或已执行的完整故障注入,且图片仍等待维护者人工复核,全部保持 draft

3. 后续扩展原则

首批 7 篇规划已全部落盘。后续不为凑数量继续扩写;只有取得新的真实事故、Near Miss 证据或可执行故障演练,并确认不存在既有单一事实源时才新增。局部风险继续留在对应知识主题或项目案例,跨主题且能形成独立 RCA 闭环的内容才进入本目录。

4. 状态与图片门禁

状态最低要求
draft事实边界明确,正文和精确图示已形成;缺少真实故障注入或人工图片质检时保持此状态
reviewed证据复核、故障回归、相邻链路验证、gpt-image-2 模型记录与人工图片质检全部通过
stablereviewed 基础上完成后续复验,版本、Runbook、告警、回滚和防复发资产仍有效

每篇正文至少包含一张带中文说明的 gpt-image-2 故障教学图。图内必须有标题、3~7 个标签、关系表达、结论和事实边界;图外必须有图题、替代文本、读图结论、Prompt、生成记录和质检状态。

5. 推荐阅读路径

  1. 先读 检索服务降级与质量回退故障复盘,建立完整 RCA 结构;
  2. 再读 Agent 重复副作用异步任务状态恢复,比较同步工具与异步消息的结果未知语义;
  3. 阅读 AI 视频音画同步,理解非请求链路的版本与局部返工;
  4. 阅读 模型网关级联故障GPU 推理雪崩,建立超时、重试与容量联动意识;
  5. 最后阅读 权限过滤 Near Miss,练习安全证据、Fail Closed 与发布阻断表达。

6. 总结

一句话记忆: 11-troubleshooting 用独立 RCA 把生产问题从现象、证据和根因推进到可回归、可监控、可复用的防复发资产。

  • 真实事故、Near Miss、故障演练和生产风险必须明确区分;
  • 每篇复盘都要有证据链、止损、修复、验证和防复发闭环;
  • gpt-image-2 故障教学图负责建立直觉,Mermaid、日志、Trace 和 Schema 负责精确事实;
  • 图片或演练未完成质检时保持 draft,不冒充已验证生产经验。