1923 字
10 分钟
提示词的排列顺序,决定了你的账单

模型每回答一句话,都要把之前的全部内容再送一遍。人格设定、工具定义、完整历史,一个字都不能少。

对一次性的问答工具来说,这不是问题。但当一个智能体长期在线,一天跑九十多轮对话、上百次模型调用,这件事就会变成账单上最显眼的一行:实测每天输入约 170 万 token,其中九成九都是”重复发送的旧内容”,真正新产生的输出只占百分之一。

于是优化的方向变得很清楚:不是让它说得更短,而是让重复发送的部分更便宜。

而便宜的程度,取决于这些内容排在第几个字节。

缓存认的是前缀,不是内容#

现在的模型服务普遍提供前缀缓存:如果这次请求的开头和上一次完全一致,那一段可以按大约十分之一的单价计费。

关键在于”开头”这两个字的严格程度。它不是一个语义判断,是字节判断——前缀中任何一个字符变了,从那个位置往后的全部内容都会失效。

我用同一把密钥、同一个模型做了三次隔离请求,把这件事确认下来:

请求形态prompt命中命中率
完全相同的请求发两次1,5221,52099.8%
前半相同,结尾不同1,5261,51499.2%
带完整工具定义1,7561,75499.9%

第二行的结论最有用:只在末尾追加新内容,前面全部还能命中。

这也解释了为什么尾部变化不影响前缀——缓存不是把整个请求当成一个整体去比对,它是沿着字节序列往前找最长公共前缀。

由此倒推出来的结构#

既然命中与否由前缀决定,那什么该放前面就不是风格问题,而是成本问题。

变化最少的东西要放最前面。全进程只构建一次、字节永远不变的人格提示词放在第一位;工具定义次之;历史对话严格递增;每轮都会变的动态状态放最后;本轮消息排在最末。

[静态人格提示词] ← 只构建一次,字节恒定
[工具定义数组] ← 必须在历史之前,且要稳定
[历史对话] ← 严格递增,上一轮发过的就是本轮前缀
[本轮动态状态] ← 每轮变化
[本轮消息]

这个顺序带来的实际效果,看一段真实的多轮记录就明白了:

「在吗」 prompt= 4,318 cached= 186 ( 4%) ← 冷启动
「今天大盘怎么样」 prompt= 7,936 cached= 4,162 ( 52%)
prompt= 8,269 cached= 7,936 ( 95%)
「视频平台有什么新内容」 prompt=11,489 cached= 4,169 ( 36%) ← 异常
prompt=13,128 cached=11,489 ( 87%)

前两轮很正常:冷启动命中率低,之后每一轮都在复用上一轮的前缀,稳定在九成以上。

第三组突然掉到 36%,是因为这句话触发了新的工具类别。工具定义排在历史前面,它一变,后面排着的全部历史就跟着失效了。

这个现象值得多想一层:它说明”优化”和”优化”之间会互相打架。

一个被字节稳定性否掉的设计#

我原本把发送者信息写进了静态段。理由很自然——它属于”这个人在跟她说话”的背景设定,看起来就该和人格放在一起。

但同一个 QQ 号在群聊和私聊之间切换时,这个值会变。它一变,整段静态前缀连同后面的全部历史一起失效。一次普通的场景切换,把缓存打回冷启动。

现在的做法是把发送者信息一律挪到动态段。牺牲的是”静态段信息更完整”这个美观,换来的是前缀的字节稳定。

同一类取舍还有一个更明显的例子:表情标签列表。

它被我一次性固化进静态段,代价是运行期新增的表情类别不会出现在提示词里。这看起来像 bug,其实是刻意的——静态段里放什么,等价于宣布”这些东西的字节永远不会变”。想让一个新表情被模型认识,就得接受它把整段前缀打坏一次。

缓存稳定和 token 数量是一个权衡#

工具定义是最肥的一块。全量 81 个工具的 schema 排下来是 13,400 token,占了单次请求输入的大半。

第一版优化是”按类别加载”:用关键词判断这轮需要哪类工具,只带那一类。日常闲聊不命中任何类别,只带基础集。改造前的情况是,85% 的轮次背着全部 81 个工具,实际只用了其中 10 个。

省 token 的效果立竿见影,但它同时带来一个新问题:工具集跟着关键词变,工具数组又排在历史前面,于是每次类别切换都会打坏一次缓存。

如果按”每轮最省 token”来算,这没什么可犹豫的。但把缓存单价算进去之后,结论会反过来——一次前缀失效的代价,可能比多带十几个工具更高。

最后落地的方案不是二选一,而是让失效只发生一次:某个类别一旦加载过,本次会话后续就一直带着它。

代价是后面的轮次会多带一些用不上的工具;收益是缓存失效从”每次关键词命中都发生”变成”每个会话最多发生一次”。字节稳定换来了连续命中。

精简通道反而更贵#

这条最反直觉,我花了很久才接受。

我曾做过一条轻量通道:短消息(二十来字以内的社交回合)走精简路径,只带最近两轮历史和一段短人格提示,跳过动态上下文、工具定义和工具循环。直觉上它一定更便宜——发送的内容确实少了一大半。

但这个通道现在是关闭的。

原因在于两种成本不能直接比 token 数。全量上下文虽然长,但几乎全部命中缓存,单价是十分之一;精简上下文虽然短,但它和主对话的前缀不一致,只能全价计费。

方案token单价相对成本
全量 + 缓存命中8,0000.1×800
精简 + 无缓存2,0001×2,000

一边是”发得多但很便宜”,一边是”发得少但全价”。后者的 token 数只有四分之一,账单却是前者的两倍多。

这件事的教训不是”精简通道没用”,而是:任何关于成本的判断,都必须用真实计费来验证。“这个肯定更省”是一个很容易犯的错,尤其当它建立在 token 数量这种看起来很直接的指标上。


写到这里回头看,这一整套结构其实只服务于一个事实:缓存按字节比对前缀,不认语义。

理解了这一条,提示词该按什么顺序排、哪些信息能放静态段、什么时候该为了稳定性放弃节省——都是它的推论。

下一篇写工具定义本身:13,400 token 是怎么压到两千出头的,以及一个看起来更聪明的方案为什么会被实测否决。

提示词的排列顺序,决定了你的账单
https://neko.aliceneko.xyz/posts/prompt-order-and-billing/
作者
Alice Charlotte
发布于
2026-11-01
许可协议
CC BY-NC-SA 4.0