外观
Chunk Size 与 Overlap 怎么确定？
3 分钟速学卡
30 秒口述： 我不会把 Chunk Size 和 Overlap 当成通用常量，而会先按文档结构、答案证据跨度、Embedding 上限和上下文预算生成候选策略。Chunk 过小会割裂语义，过大又会稀释召回信号并增加 Token；Overlap 只用于保护边界语义，不能替代结构化切分和父子块。最终应在固定问题集上比较 Recall@K、重复率、引用支持率、延迟和成本，并按文档类型分桶选择。
- 本质： Chunk Size 与 Overlap 的答案不在经验表里，而在证据跨度、结构边界和受控评测中。
- 核心机制： 先恢复结构，再谈长度；Overlap 保护边界，但会带来重复成本。
- 关键判断： 父子块适合兼顾细粒度召回与完整上下文；参数必须按文档类型分桶并版本化。
- 项目落地： 故障演练：某制度问题的答案跨两个小节，单段切片导致两个证据分别召回但语义不完整。先用父子块回取完整章节止损，再增加跨段证据标注集，对比父子块与加大 Overlap 的 Recall@K、重复率和 Token。
- 边界与坑： “统一切 500 Token、重叠 50。” 数字缺少文档、模型和评测前提，只能作为候选起点；“Overlap 越大越不丢信息。” 会制造重复、索引膨胀和上下文浪费。
目录
面试官为什么问
面试官想确认候选人是否理解“切片决定检索最小证据单元”，以及能否用评测而不是拍脑袋给出参数。
小白先看懂
把一部长篇剧本交给资料员。如果每张卡片只抄一句话，人物动机容易断掉；如果整幕都塞进一张卡片，查一句台词时会带回大量无关内容；在卡片边缘重复两句，可以保护跨页对白，但重复太多又会把桌面铺满同样内容。
| 剧本场景 | 技术映射 |
|---|---|
| 每张卡片长度 | Chunk Size |
| 边缘重复对白 | Overlap |
| 按场次、角色切分 | 结构感知切分 |
| 先找场次再取对白 | 父子块检索 |
专业机制是在“语义完整性、检索区分度、上下文成本”之间做受控权衡。类比忽略了表格、代码、OCR 页面等异构结构，它们应使用专门解析器。
主题教学图片
图：教学图片｜Chunk Size 与 Overlap 怎么确定？
替代文本： 围绕“Chunk Size 与 Overlap 怎么确定？”组织的中文教学图，通过分区、箭头和标签解释核心机制。
读图结论： 用图中关系理解“Chunk Size 与 Overlap 怎么确定？”的机制与边界。
这张图片用于建立主题机制的直觉。精确公式、参数、失败分支和事实边界仍以正文与 Mermaid 为准。
图片生成记录： model=gpt-image-2，generated=2026-07-15，prompt_version=v1，reviewed=2026-07-16，review_basis=user-confirmed；查看生成 Prompt。
图：技术调用流程｜切片参数从候选到验收
替代文本： 文档先恢复结构，再生成小块、中块和父子块候选，通过固定问题集比较召回、重复、引用、Token 与成本，未通过则按失败类型调整。
图表加载中…
读图结论： Chunk 参数是由证据跨度和评测结果确定的版本化策略，而不是全库共用的经验数字。
图中候选策略需要在相同语料、Embedding、检索器和问题集下对比，避免把多项变量同时改变后误判因果。
核心原理
Chunk 的输入应是恢复标题、段落、列表、表格和页码后的结构化文档。对问答证据短而集中的 FAQ，可用较小块；对条款定义依赖上下文的制度文档，更适合标题继承或父子块；表格应保持表头与行关系。
Overlap 增加边界召回机会，也增加索引体积和重复候选。应记录 chunker_version、稳定 Chunk ID、父子关系与来源定位，检索后做近重复抑制。
项目和生产视角
故障演练： 某制度问题的答案跨两个小节，单段切片导致两个证据分别召回但语义不完整。先用父子块回取完整章节止损，再增加跨段证据标注集，对比父子块与加大 Overlap 的 Recall@K、重复率和 Token；这是假设演练，不是已发生事故。
生产中应按 HTML、PDF、表格、代码等来源分桶监控空召回率和引用定位失败率。解析器升级必须触发抽样对比和可回滚索引版本。
常见错误回答
- “统一切 500 Token、重叠 50。” 数字缺少文档、模型和评测前提，只能作为候选起点。
- “Overlap 越大越不丢信息。” 会制造重复、索引膨胀和上下文浪费。
- “只按字符数切。” 会破坏标题、表格、代码与语义边界；应先结构恢复。
递进追问
- 中文字符数与 Token 数为什么不能直接等同？
- 父子块和扩大 Chunk 的差异是什么？
- 如何为表格、代码和扫描 PDF 设计不同切片器？
- 如何判断问题是切片失败还是重排失败？
- 切片策略升级后如何保证引用链接稳定？
关联阅读
总结
一句话记忆： Chunk Size 与 Overlap 的答案不在经验表里，而在证据跨度、结构边界和受控评测中。
- 先恢复结构，再谈长度；
- Overlap 保护边界，但会带来重复成本；
- 父子块适合兼顾细粒度召回与完整上下文；
- 参数必须按文档类型分桶并版本化。