外观
如何控制 Token、模型调用和基础设施成本？
3 分钟速学卡
30 秒口述： 我会先把成本统一到“每个成功任务”的口径，拆成输入 Token、输出 Token、检索与工具、重试浪费、存储以及自部署 GPU 的固定和闲置成本。治理顺序是减少无效请求与上下文、按任务路由模型、复用安全结果、限制输出与重试，再优化批处理和硬件利用率。任何降本都要同时守住质量、延迟和安全护栏，不能用更便宜但任务失败率更高的方案制造表面节省。
- 本质： 真正的降本是降低单位成功任务成本，而不是让单次 API 账单看起来更小。
- 核心机制： 按任务、租户、模型与版本归因全链路成本；优先减少无效调用、上下文、输出和重试。
- 关键判断： 模型路由、缓存和批处理都必须受质量护栏约束；自部署要把闲置、运维和峰值容量一起计入。
- 项目落地： 示例方案：简单抽取先走小模型，低置信或高风险请求升级大模型；RAG 先去重和控制 k_context。
- 边界与坑： “换成最便宜的模型”：忽略失败率、人工返工和业务风险；“缩短 Prompt 就能降本”：可能删除必要约束和证据，导致质量下降。
目录
面试官为什么问
面试官要判断你能否把账单转化为可归因的工程指标，并在质量、延迟、吞吐和成本之间做条件性取舍。
小白先看懂
物流公司不会只比较每辆车的油价，而会看每个成功送达包裹的总成本：空车、绕路、退件和仓库闲置都要算。请求对应包裹，Token 对应里程，模型对应车型，重试对应重复运输，GPU 闲置对应空置仓库。
真实系统中，不同任务的质量标准不同，因此先按租户、任务、模型和版本分桶。类比没有覆盖模型随机性和缓存安全，必须用固定评测集与线上护栏证明降本没有伤害任务结果。
主题图与核心原理
图：教学图片｜如何控制 Token、模型调用和基础设施成本？
替代文本： 围绕“如何控制 Token、模型调用和基础设施成本？”组织的中文教学图，通过分区、箭头和标签解释核心机制。
读图结论： 便宜请求不等于便宜结果；降本必须守住质量。
这张图片用于建立主题机制的直觉。精确公式、参数、失败分支和事实边界仍以正文与 Mermaid 为准。
图片生成记录： model=gpt-image-2，generated=2026-07-15，prompt_version=v1，reviewed=2026-07-16，review_basis=user-confirmed；查看生成 Prompt。
图：从账单到单位成功任务成本
替代文本： 请求成本由 Token、检索工具、重试和基础设施汇总，经任务质量门禁后计算单位成功任务成本，再驱动路由和预算策略。
图表加载中…
读图结论： 成本必须和成功质量绑定；失败、重试与闲置都不能从分母中消失。
核心公式可写为：单位成功任务成本 = 统计窗口内总可归因成本 / 通过质量门禁的成功任务数。统计时要明确窗口、租户、任务类型、模型版本和质量门槛。
项目和生产视角
示例方案： 简单抽取先走小模型，低置信或高风险请求升级大模型；RAG 先去重和控制 k_context；稳定系统 Prompt 使用前缀缓存；输出设置任务相关上限；重试受预算约束。自部署则额外观察 GPU 利用率、tokens/s、排队和显存余量。
回归报告至少并列任务成功率、关键错误率、P95、每成功任务 Token、缓存节省、重试浪费和单位成功任务成本。没有同任务、同数据和同护栏的比较，不能声称“模型更省”。
常见错误回答
- “换成最便宜的模型”：忽略失败率、人工返工和业务风险。
- “缩短 Prompt 就能降本”：可能删除必要约束和证据，导致质量下降。
- “自部署一定更便宜”：忽略 GPU 闲置、运维、扩缩容和峰值冗余。
递进追问
- 为什么要用每成功任务成本而不是每请求成本？
- 输入 Token 与输出 Token 的优化手段有何不同？
- 模型路由如何避免小模型误判高风险任务？
- 怎样分摊共享 GPU 和检索集群成本？
- 降本方案上线要设置哪些质量护栏？
关联阅读
总结
一句话记忆： 真正的降本是降低单位成功任务成本，而不是让单次 API 账单看起来更小。
- 按任务、租户、模型与版本归因全链路成本。
- 优先减少无效调用、上下文、输出和重试。
- 模型路由、缓存和批处理都必须受质量护栏约束。
- 自部署要把闲置、运维和峰值容量一起计入。