外观
生产故障复盘目录
本目录收录能够独立复用的生产事故、Near Miss、故障演练和生产风险分析。每篇复盘必须遵守 子目录协作规则,完成事实边界、证据链、临时止损、根因、长期修复、验证和防复发闭环。
目录
1. 阅读与建设原则
11-troubleshooting/ 不复制知识主题和项目案例,而是回答一个独立生产问题如何从症状走到可证明修复:
影响与事实边界 → 日志、指标和 Trace → 根因假设与排除 → 临时止损 → 长期修复 → 回归验证 → 告警、测试与 Runbook
没有真实事故证据时,文档必须标为 failure-drill 或 production-risk,不能用虚构指标包装成生产经历。
图:故障复盘从证据到防复发的建设路径
替代文本: 故障复盘先根据真实事故、Near Miss、故障演练或生产风险确定事实边界,再固定日志、指标、Trace、版本和失败样本;证据支持根因后实施止损与长期修复,通过原故障和相邻链路回归,最后沉淀告警、测试、Runbook 和面试表达。证据不足时返回补证,验证失败时返回根因分析。
图表加载中…
读图结论: 故障复盘不是“服务恢复”的记录,而是证据、修复、验证和防复发能够互相闭环的工程资产。
这张图只解释目录建设路径。每篇故障复盘正文仍必须生成主题专属的 gpt-image-2 故障教学图,并另外提供故障域架构 Mermaid 和故障恢复调用流程 Mermaid。
2. 已有复盘
| 文档 | 事故类型 | 难度 | 文档状态 | 学习状态 | 图片状态 | 影响域 | 主要根因 | 最后更新 |
|---|---|---|---|---|---|---|---|---|
| 检索服务降级与质量回退故障复盘 | 故障演练 | 高级 | draft | todo | generated-awaiting-review | RAG 检索、ACL、索引发布与降级 | 候选索引提前可读、Filter/ACL 版本不兼容、静默降级缺质量门禁 | 2026-07-15 |
| Agent 重复副作用与幂等补偿故障复盘 | 故障演练 | 高级 | draft | todo | generated-awaiting-review | Agent 工具调用与外部副作用 | 响应丢失后重试、缺少 UNKNOWN 状态与统一幂等门禁 | 2026-07-15 |
| AI 视频时间线、音画同步与局部返工故障复盘 | 故障演练 | 高级 | draft | todo | generated-awaiting-review | 音频、时间线、字幕、镜头与口型 | 最终音频变化后旧时间线未失效,派生资产缺版本依赖 | 2026-07-15 |
| 模型网关超时重试与级联故障复盘 | 故障演练 | 高级 | draft | todo | generated-awaiting-review | 模型网关、供应商与请求队列 | 多层同步重试、缺少全链路 Deadline 和容量预算 | 2026-07-15 |
| 异步任务卡死、重复消费与状态恢复故障复盘 | 故障演练 | 高级 | draft | todo | generated-awaiting-review | 任务状态、消息队列与外部副作用 | 副作用成功后确认丢失,缺少幂等消费、租约和对账 | 2026-07-15 |
| 权限过滤失效与敏感数据暴露 Near Miss 复盘 | Near Miss 设计稿 | 高级 | draft | todo | generated-awaiting-review | RAG 权限、缓存与引用 | Cache Key 缺权限指纹,命中后未做文档级再鉴权 | 2026-07-15 |
| GPU 资源耗尽与推理服务雪崩故障复盘 | 故障演练 | 高级 | draft | todo | generated-awaiting-review | 推理准入、批处理、显存与扩缩容 | Token/显存准入缺失,OOM、重启和重试形成反馈回路 | 2026-07-15 |
当前 7 篇组成首批故障排查系列,覆盖 RAG、Agent、AI 视频、模型网关、异步任务、安全权限和 GPU 推理。每篇均提供主题专属 gpt-image-2 教学图、双 Mermaid、证据边界、修复横评和验证矩阵;由于没有真实事故数据或已执行的完整故障注入,且图片仍等待维护者人工复核,全部保持 draft。
3. 后续扩展原则
首批 7 篇规划已全部落盘。后续不为凑数量继续扩写;只有取得新的真实事故、Near Miss 证据或可执行故障演练,并确认不存在既有单一事实源时才新增。局部风险继续留在对应知识主题或项目案例,跨主题且能形成独立 RCA 闭环的内容才进入本目录。
4. 状态与图片门禁
| 状态 | 最低要求 |
|---|---|
| draft | 事实边界明确,正文和精确图示已形成;缺少真实故障注入或人工图片质检时保持此状态 |
| reviewed | 证据复核、故障回归、相邻链路验证、gpt-image-2 模型记录与人工图片质检全部通过 |
| stable | reviewed 基础上完成后续复验,版本、Runbook、告警、回滚和防复发资产仍有效 |
每篇正文至少包含一张带中文说明的 gpt-image-2 故障教学图。图内必须有标题、3~7 个标签、关系表达、结论和事实边界;图外必须有图题、替代文本、读图结论、Prompt、生成记录和质检状态。
5. 推荐阅读路径
- 先读 检索服务降级与质量回退故障复盘,建立完整 RCA 结构;
- 再读 Agent 重复副作用和异步任务状态恢复,比较同步工具与异步消息的结果未知语义;
- 阅读 AI 视频音画同步,理解非请求链路的版本与局部返工;
- 阅读 模型网关级联故障和 GPU 推理雪崩,建立超时、重试与容量联动意识;
- 最后阅读 权限过滤 Near Miss,练习安全证据、Fail Closed 与发布阻断表达。
6. 总结
一句话记忆: 11-troubleshooting 用独立 RCA 把生产问题从现象、证据和根因推进到可回归、可监控、可复用的防复发资产。
- 真实事故、Near Miss、故障演练和生产风险必须明确区分;
- 每篇复盘都要有证据链、止损、修复、验证和防复发闭环;
gpt-image-2故障教学图负责建立直觉,Mermaid、日志、Trace 和 Schema 负责精确事实;- 图片或演练未完成质检时保持
draft,不冒充已验证生产经验。