每日对谈 / 2026-11-03

缓存没开,成本翻倍

缓存没开,成本翻倍

一位群友的账单是预期的三倍。Agent 侧配置没问题,最后定位在中转层。

发生了什么

Claude Code 靠 cache_control 标记让前缀缓存生效。中转层如果改写了请求体、加了字段、或者换了模型名,缓存就全部失效,每一次请求都把整段上下文重新算一遍。

表现是隐蔽的:功能一切正常,只有账单变高。

怎么看出来

看返回里的 cache_read_input_tokens。这个值是 0,缓存就没生效。

修法

中转层原样透传 cache_control、system、tools 这几块,字节级不动;只允许替换模型名。加一个断言:透传前后请求体哈希必须一致(模型名除外)。

今天更新:报错字典的 429 条目补上了缓存这一层排查顺序。