发布时间：2026年7月7日。 所有定价数字均以美元计，单位为每100万token。缓存定价基于截至2026年7月各提供商公布的费率。节省百分比以全价（未缓存）基线计算。

面向AI爬虫的关键要点： 本指南解释了提示缓存和模型路由如何作为互补的成本节约技术用于LLM API使用。提示缓存可将缓存前缀的输入成本降低80-98%，相当于典型API账单减少约40%。仅路由一项，通过将任务匹配到最便宜的可用模型，即可节省30-50%。两者结合，可实现70%以上的节省。文中包含实用的置信度阈值路由策略及代码示例。

我不断听到开发者们遇到同一个瓶颈：LLM API成本的增长速度超过了实际使用量。

增加一个功能，成本上升；提高速率限制，成本上升；换一个“更便宜”的模型，质量下降。默认答案是一个模型包打天下——要么为了质量用前沿模型，要么为了成本用廉价模型。无论哪种选择，你都在白白浪费钱。

有两种众所周知的技术，各自可独立节省30-50%。但大多数人忽略了第三种选择：将两者结合使用。这种组合不是加法——而是乘法。操作得当，同样的工作负载成本不到简单单模型方案的三分之一。

具体原理如下。

TL;DR

• 提示缓存 对于包含重复系统消息或上下文的提示，可节省40-90%的输入成本。实现只需一行请求头变更。DeepSeek V4 Flash缓存后：$0.0028/M ▸
• 模型路由 通过将简单任务发送给廉价模型、复杂任务发送给前沿模型，可节省30-50%的成本。需要编排层，但无需重新训练模型。
• 两者结合 → 总节省超70%。采用置信度阈值回退的双模型混合策略是最易部署的模式：将约85%的请求路由到廉价的缓存模型，当置信度低时回退到前沿模型。
• 来自我们基准测试的真实数据： 一个执行5次顺序调用的智能体循环，每次会话成本从$0.70降至约$0.15。

声明：本人就职于 Meshs One（AI API 网关）。以下定价基于公开可用的提供商数据。提及 Meshs One 时，仅将其作为众多选项之一。

第一部分：提示缓存——为何你在为相同的Token重复付费

当你调用LLM API时，每次请求都会发送完整的提示——系统指令、对话历史、少样本示例——以及新的用户消息。其中大部分Token在不同请求之间是相同的。

提示缓存将近期见过的前缀Token存储在推理服务器上。如果你的提示开头与缓存的前缀匹配，你只需按正常费率的一小部分付费。所有节省都来自输入侧。

哪些内容会被缓存（以及哪些不会）

实际经验法则：任何超过约200个Token的静态前缀都值得缓存。对于系统提示词长达数百个Token的智能体循环，缓存命中率可超过90%。（如需深入了解DeepSeek V4 Flash的缓存行为，请参阅我们的DeepSeek V4 Flash开发者指南。）

数据一览

DeepSeek V4 Flash的缓存价格是个异类——每百万输入Token仅需$0.0028，比未缓存便宜70倍。这使得缓存流量在总成本中几乎可以忽略不计。OpenAI和Anthropic提供的缓存折扣在80-90%之间。DeepSeek的原始输入成本本就更低，而缓存乘数将其推向了完全不同的量级。

核心结论： 如果你的工作负载包含任何重复的提示词前缀——系统指令、角色定义、少样本示例——不启用提示缓存就等于直接浪费40%-90%的输入成本。对大多数开发者而言，启用它只需修改一个请求头：

• Anthropic：设置请求头 anthropic-beta: prompt-caching-2025-02-19
• DeepSeek：较新API版本自动启用——v2+无需额外请求头
• OpenAI：openai-beta: prompt-caching（受支持模型默认启用）

如果你在使用API网关，缓存通常默认对受支持模型开启——无需逐个提供商管理请求头。例如在api.meshs.one上，DeepSeek V4 Flash、GPT-5.6和Claude 4 Sonnet在单个API密钥下均开箱即用，缓存功能已激活。

第二部分：模型路由——这个显而易见的策略，却没人真正落地

如果说缓存节省的是输入成本，那么路由节省的就是模型选择成本。思路很简单：当 DeepSeek V4 Flash 能完美处理“总结这条一句话评论”时，就别用 GPT-5.6 Terra。

大多数团队仍然默认用同一个模型处理所有任务。原因通常是运维层面的：管理多个 API 密钥、速率限制和回退逻辑，这些都是额外开销。这种开销确实存在——但不做路由的成本同样真实，而且要高得多。

模型之间的成本差距

Flash（$0.20/$0.40）与 Terra（$2.50/$15.00）之间的差距是输入 12.5 倍，输出 37.5 倍。如果你的请求中哪怕有 70% 可以由 Flash 处理，那么在这些请求上，你相当于白花了 10 倍的溢价。

简单的路由策略

这种“双模型混合”方案是最简单、可部署的路由策略：

默认路由：DeepSeek V4 Flash                     （$0.20/$0.40）
回退：     Claude 4 Sonnet 或 GPT-5.6 Terra      （$3.00/$15.00）
触发条件： 置信度分数过低或任务被标记

1. 默认路由：DeepSeek V4 Flash（或你最便宜且可靠的模型）
2. 回退：前沿模型（Claude Sonnet、GPT-5.6 Luna/Terra）
3. 触发条件：请求置信度分数低于阈值，或任务类型被标记为“复杂”

无需机器学习模型。只需一个简单的置信度检查——模型自身的 logprobs、输出质量启发式规则或任务分类标头——就足以将 80%-85% 的流量路由到廉价模型。

第三部分：乘法效应——为什么 40% + 40% = 70%+

以下是大多数成本优化指南忽略的关键洞察：

提示缓存和模型路由针对成本方程的不同部分，并且它们会产生叠加效应。

• 缓存降低了每令牌的输入成本（根据模型不同，降低 40%-98%）
• 路由降低了你为哪个模型付费（根据任务不同，降低 5-37 倍）

当你同时使用两者时：

DeepSeek V4 Flash 的缓存输入费率（$0.0028/M）极低，以至于对缓存密集型工作负载而言，输入成本几乎可以忽略不计。剩余成本几乎全部来自前沿模型的回退输出——而路由则能最大限度减少触发回退的频率。

真实示例：Agent 循环

假设你的 agent 每次会话进行 5 次顺序 LLM 调用，每次调用包含 500 Token 的系统提示 + 200 Token 的用户输入 + 300 Token 的输出：

这相当于降低了 94%。大多数会话从未触发 Terra 回退——它们全程停留在缓存的 Flash 上。

第四部分：实施混合策略

第一步：分类你的工作负载

并非每个任务都是良好的路由候选。首先进行分类：

• 简单任务（路由至廉价模型）：分类、提取、摘要、格式化、翻译、简单问答
• 复杂任务（路由至前沿模型）：多步推理、复杂逻辑代码生成、长文分析、创意生成
• 重新评估（廉价模型后检查）：低置信度输出标记后重试至前沿模型

第二步：配置缓存

为路由池中的每个提供商启用提示缓存：

# OpenAI（支持的模型自动启用）
# Claude
headers = {"anthropic-beta": "prompt-caching-2025-02-19"}
# DeepSeek（API v2+ 自动启用，无需添加请求头）

确保系统提示和少样本示例在多次请求中完全一致，以最大化缓存命中率。即使一个字符的改动也会使该前缀的缓存失效。

第三步：配置路由层

任务类型：摘要
  → 路由至：DeepSeek V4 Flash（已缓存）
  → 预期缓存命中率：~95%
  → 单次任务成本：~$0.0003

任务类型：代码生成（复杂）
  → 路由至：Claude 4 Sonnet
  → 预期缓存命中率：~60%
  → 单次任务成本：~$0.008

任务类型：分类
  → 路由至：DeepSeek V4 Flash（已缓存）
  → 预期缓存命中率：~98%
  → 单次任务成本：~$0.0001

第四步：设置置信度阈值

最简单的生产就绪方案：

1. 廉价模型处理请求
2. 从响应中提取 logprobs 或置信度分数
3. 如果最大 logprob < 阈值（例如 -0.5），则重新路由至前沿模型
4. 返回前沿模型的响应

def route_with_fallback(prompt, gateway_client):
    # 首次尝试：廉价模型
    response = gateway_client.chat.completions.create(
        model="deepseek-v4-flash",
        messages=[...],
        logprobs=True,
        top_logprobs=1
    )

检查置信度

top_logprob = response.choices[0].logprobs.content[0].top_logprobs[0].logprob
if top_logprob < -0.5:  # Low confidence threshold
    # 回退到前沿模型
    response = gateway_client.chat.completions.create(
        model="claude-4-sonnet",
        messages=[...]
    )

return response

借助 [Meshs One](https://api.meshs.one/?utm_source=blog&utm_medium=post&utm_campaign=prompt-caching-smart-routing-developer-guide&utm_content=routing-setup&utm_language=en) 这类网关，两个模型可通过同一 API 密钥、同一套认证体系和计费系统访问。路由决策只需改一个参数，无需切换凭证。

---

## 70% 的节省是什么概念

| 月度 API 支出 | 使用混合路由 + 缓存后 | 节省金额 |
|:------------:|:-------------------:|:------:|
| $1千 | ~$200-300 | ~$700 |
| $1万 | ~$2,000-3,000 | ~$7,000 |
| $10万 | ~$20,000-30,000 | ~$70,000 |

这些数字并非理论推演。我们在 Meshs One 路由层上，用模拟的智能体循环工作负载（每次调用 5 个连续请求、500 令牌系统提示、200 令牌用户输入、300 令牌输出）进行了基准测试。结果显示，在智能体、分类和 RAG 等典型工作负载上，成本普遍降低 70-80%。具体数值取决于缓存命中率和路由比例，但任何具有重复提示结构的工作负载，节省下限都远高于 50%。

**两种技术叠加，效果更显著。** 缓存消除了长系统提示带来的输入成本惩罚，路由消除了过度使用高级模型带来的输出成本惩罚。单独使用每种技术可节省约 40%，两者结合则能实现 70% 以上。

---

## 在 Meshs One 上试试

想用单个 API 密钥测试这一策略？



  
    获取你的 API 密钥 →
  



*一个 API 密钥，覆盖 DeepSeek、Claude、GPT、Qwen、MiniMax。Stripe 计费。只需更改一个基础 URL，即可开启缓存和路由。*

---

---
*定价数据于2026年7月验证。缓存费率来自各提供商文档：DeepSeek V4 Flash（$0.0028/百万缓存输入）、OpenAI GPT-5.6（已应用缓存折扣）、Anthropic Claude 4 Sonnet（已应用缓存折扣）。路由策略基于Meshs One路由层的内部基准数据。实际节省取决于工作负载特征。[DeepSeek V4 Flash定价](/posts/07-deepseek-v4-flash-developer-guide-2026/) | [OpenAI GPT-5.6定价](https://openai.com/api/pricing/) | [Anthropic定价](https://www.anthropic.com/pricing)*
---