主要想看一下： 1）serving 时候的缓存命中，到底是放在哪种存储上的 2）推理集群的演进方向是啥

KV Cache 的分层存储结构

一般 KV cache hit 会分几层：system prompt、device（HBM）、host（DRAM）、CFS（Cloud File Storage 远端的 storage，NAND）

• System prompt 因为所以用户都一样，所以是一定会存在 HBM 中的
• 然后剩下的几层存储
  • 当 QPS 提高（query per second）、需要提升 serving 的 batch size 时，更多的缓存命中会从 device 侧变到 host 侧
  • Cache 的 TTL 比较长时，一般需要 offload 到 DRAM
  • 当 DRAM 也满了，最后的 CFS 起兜底作用

Deepseek 怎么做的

• DeepSeek API 上下文硬盘缓存技术对所有用户默认开启，用户无需操作
  • 后续请求会于缓存的 KV Cache 进行**「前缀」**匹配，完全相同的部分即命中
  • 每一轮请求，会在已有的 Prefix KV Cache 后面拼上 incremental KVCache
• 缓存的命中是 best-effort 机制，存 NAND 上 link
  • 用户的每一个请求都会触发硬盘缓存的构建，缓存构建耗时为秒级
  • 缓存不再使用后会自动被清空，时间一般为几个小时到几天
• chat mode 和 agent mode 在 cache 时的区别 link
  • chat mode 之前的 reasoning 不会作为下一轮的输入，但 agent mode 会
  • chat mode 下（左图），存入缓存的是 「问题 1+回答一」，跳过了「思维链 1」
  • agent mode 下（右图），第一轮的所有输入输出都作为缓存

OpenAI 怎么做的 link

• 和 deepseek 一样缓存都是自动进行的：大于 1024 tokens 自动触发、基于前缀匹配。用户无需操作，也无需额外付费
• In memory cache：GPT-5.5 之前的模型（模型参数小）的 cache 都一般按 in-memory 来存，放在 volatile GPU memory 上，大概支持 5-10 min 活跃状态，最长 1h。GPT-5.5 及之后的模型不支持 in-memory 了
• Extended prompt cache retention：几乎所有模型都支持 off-load 到 NAND 来支持最长 24h 的 缓存

Anthropic 怎么做的 link

• 和 Deepseek 和 OpenAI 区别：缓存触发门槛根据模型不同、写入缓存单独收费、支持用户显式设置哪些需要缓存（也支持自动缓存）