AI 应用的成本优化：从选型到缓存的全链路

1. 模型选择与路由#

不是所有任务都需要最强模型。 按任务复杂度动态路由：

• 简单分类 / 提取 → 轻量模型（便宜、快）
• 复杂推理 / 代码生成 → 强模型（贵但准）
• 结构化输出 → 带 JSON mode 的模型，省 token

实际工程里用 new-api、LiteLLM 这类网关做路由，按任务类型分发到不同模型。一次 Agent 流程里，规划用强模型、执行用便宜的，能砍掉一大块成本。

2. 提示压缩与上下文治理#

每次调用传的上下文越短越省钱。具体手段：

• 历史对话摘要而不是全量重传
• 只带相关文档（RAG 检索 top-k，不是把整个知识库塞进去）
• 系统提示用 prompt caching（Anthropic / OpenAI 都支持，缓存命中后输入 token 大幅打折）

3. 缓存与复用#

相同或相似的请求，结果缓存复用，避免重复推理：

• 确定性请求（如”总结这篇文章”）：结果落库，下次直接返回
• 半确定性请求：语义缓存（embedding 相似度匹配）
• prompt caching：把固定上下文（系统提示、知识库）缓存到模型侧，命中后输入成本降 90%

4. 推理效率#

• 批处理：多个请求合并一次推理
• 流式输出：早返回早结束，减少超时重试
• 早停 / 结构化输出：让模型只输出必要内容，别啰嗦

5. 重复推理避免#

Agent 系统最容易浪费的地方：任务失败重试，从头再跑一遍。

解法：

• 任务状态检查点：每步做完落库，失败从断点续跑，不从头
• 幂等设计：同一个任务执行多次结果一致，重试不产生副作用
• 结果缓存按任务 ID：重试时先查缓存

6. 成本监控与归因#

不能笼统知道”这个月花了 500 块”，要能拆到具体功能 / 链式调用 / 用户。建立精细化追踪：

• 每次调用记录：哪个功能触发、走了哪个模型、消耗多少 token
• 按功能 / 用户 / 链路聚合，找出成本大头
• 大头先优化（二八定律——20% 的调用常消耗 80% 的成本）