前两篇各讲了一半:把可复用的内容排成稳定前缀能省钱;把工具定义裁到最小也能省钱。
这两件事放在一起就会打架。
矛盾是这样的
按类别加载工具,是为了让这一轮的提示词更短。日常闲聊只带 17 个基础工具,问股票才把那 18 个加进来。
问题在于工具定义排在历史对话前面。
于是当一句话触发新类别时,工具数组从 17 个变成 35 个,字节全变了。排在它后面的全部历史——可能已经积累了几十轮、上万 token——跟着一起失效。
上一轮刚刚命中到 95% 的缓存,这一轮掉回三成多。
实测记录里有一组很典型的轨迹:
「在吗」 prompt= 4,318 cached= 186 ( 4%)「今天大盘怎么样」 prompt= 7,936 cached= 4,162 ( 52%) prompt= 8,269 cached= 7,936 ( 95%)「视频平台有什么新内容」 prompt=11,489 cached= 4,169 ( 36%) ← 换类别 prompt=13,128 cached=11,489 ( 87%)「在吗」 prompt=13,215 cached=11,490 ( 86%) prompt=14,830 cached=13,215 ( 89%)第三处那个 36% 就是换类别造成的。它之后又恢复到 87%,然后一路稳定在 86% 到 89%。
这一来一回的代价很难直观感受。可以这样算:一次前缀失效,等于把之前积累的整段历史重新全价付费了一遍。省下的那点工具定义 token,远远补不上这个洞。
如果每轮都选最省的呢
顺着”每轮最小 token”这个目标走下去,会得到一个看起来很合理的实现:每个请求独立计算需要哪些工具,能少带就少带。
这个实现会把缓存打得很碎。用户正常聊天时,句子里的关键词是随机漂移的——这轮提到”视频”,下轮聊别的,工具集就在两个状态之间反复横跳,每跳一次全量失效。
频次上还有个隐蔽的放大效应:缓存失效不是局部的,它会把后面所有内容一起作废。而工具定义之后跟着的是完整历史,那是提示词里最长的部分。
所以”每轮最省”这个目标本身是错的。真正的目标应该是:让可复用的前缀尽可能长地保持有效。
一条很短的规则
做法只有一个判断:某个类别一旦加载过,本次会话后续就一直带着它。
def select_tools(session, message): new_cats = match_categories(message) - session.stuck if new_cats: session.stuck |= new_cats # 永久带上 return build_tools(session.stuck)代码只有三行,但要理解它为什么有效,需要看清楚它改变的是什么。
它没有让任何一轮的请求变短。恰恰相反,它让后续轮次多带了一些用不上的工具——聊完股票之后再闲聊,股票那 18 个工具还挂在提示词里。
它改变的是失效的次数:从一个会话里”每次换类别都失效”,变成”最多失效几次,之后就稳定了”。
代价和收益放在一起看:多带十几个工具的 schema,大约是几千 token 的固定开销;而一次前缀失效,可能让上万 token 的历史重新全价计费。只要一个会话超过几轮,后者就更贵。
这个取舍的一般形式
这条规则其实是一个更普遍问题的具体解法:当”局部最优”和”全局稳定”冲突时,选稳定。
缓存这类机制的特点是,它奖励的从来不是单次请求的效率,而是一段连续请求之间的相似性。任何让相邻请求产生差异的优化,都在破坏它赖以生效的基础。
按类别加载是这样。动态调整工具描述、按语义重排历史、给不同轮次换不同的人格片段——凡是让前缀字节漂移的做法,都有同样的问题。
反过来,那些看起来”浪费”的设计往往在这里更划算:多带一些用不上的工具、多保留几轮已经不太相关的历史、给静态段留一些永远不会被触发的规则。
它们浪费的是 token 数量,节省的是缓存命中。
写到这里,三篇正好讲完一条链:缓存认前缀不认语义(第一篇),所以工具定义要裁到最小(第二篇),但裁剪会让前缀漂移,于是需要用”粘住”把失效封顶(第三篇)。
三者的共同前提是同一个事实——前缀缓存是字节级的判断。
下一篇换一个方向:从提示词结构挪到工程细节,讲几个让我排查了很久的静默失败。