上一篇讲的是把可复用的内容排成稳定前缀。
这一篇处理前缀里最大的一块:工具定义。
先看它有多肥
拆开一次请求的输入,比例是这样的:
| 部分 | token |
|---|---|
| 工具定义的 JSON schema | 13,400(全量时) |
| 动态上下文 | 2,100 |
| 静态人格提示词 | 1,400 |
八十一 个工具,每个都要给出名字、描述、参数结构、参数类型、是否必填。这些信息必须是结构化 JSON,因为模型的工具调用依赖它。
一万三千 token 意味着什么?一次寒暄请求总共才六千多 token。也就是说,光是把工具列表摆出来,就已经是实际对话内容的两倍。
第一个想法,被实测否决
一个很自然的思路是:请求里只放工具名清单,模型需要用到某个工具时,再单独把它的完整 schema 取过来。
理论上,这能把 13,400 压到几百 token。听起来像是稳赚。
实测结果:
| 请求形态 | 模型是否发起工具调用 |
|---|---|
| 精简工具 + 工具名目录文本 | 否 |
| 精简工具,无目录 | 是 |
| 全量工具,无目录 | 是 |
第一行是致命的。只要模型看到工具名清单,它就不再走结构化调用了——它会直接在正文里写 工具名 {},像是在模仿某种它见过的格式,然后等着别人来解析。
第二行和第三行的对比说明这不是”工具太少所以不用”,而是”目录文本本身改变了它的行为模式”。三个形态里,只有带目录的那个失效。
这个方案对测试过的所有主模型都不成立,代码已经删掉了。
我把这段失败记录留在报告里,因为它划定了一条边界:**省 token 不能以破坏协议为代价。**模型的工具调用行为对提示形态极其敏感,任何看起来聪明的压缩方案,都必须先跑一遍实测再说。
按类别加载
回到现实可行的做法。
第一步是把工具分类。用关键词映射:说到”股票""大盘""持仓”就加载股票类,说到”视频""UP主”就加载视频类。日常闲聊不命中任何类别,只带基础集。
改造前的情况很难看:命中关键词就加载全部 81 个工具。实测下来,85% 的轮次背着全量工具,实际只用了其中 10 个左右。
这一步省下来的量很大,但会带来缓存问题——上一节讲过,工具数组排在历史前面,它一变,后面全部失效。这个问题留到第四节解决,先看能省多少。
基础集瘦身
第二步是给常驻的基础集减重。
原基础集 23 个工具、3,340 token。观察一周之后,把三类低频工具挪出常驻集:技能装卸、内容创作、技能生成用的股票工具。它们不是没用,只是不该每轮都在。
| 版本 | 工具数 | token |
|---|---|---|
| 原基础集 | 23 | 3,340 |
| 现基础集 | 17 | 2,244 |
省下 1,945 token。判断标准很简单:过去一周有没有被主动调用过。没有就挪出去,需要时按类别加载回来。
白名单裁剪
第三步的思路和前两步不同,值得单独说。
有些能力是通过命令直接调 API 实现的,整个链路里不经过模型的工具数组。也就是说,模型其实不需要”看见”这些工具——它不会自主决定调用它们,调用是由应用代码发起的。
既然模型不需要看见,就应该从可见列表里裁掉。
| 类别 | 裁剪前 | 裁剪后 |
|---|---|---|
| 股票 | 18 | 16 |
| 视频平台 | 23 | 13 |
| 社交平台 | 7 | 6 |
视频平台砍得最多,从 23 减到 13。因为那个域里的大量操作是流程化的——浏览、筛选、评论,每一步都由上游逻辑决定,模型只负责最后”评论什么”。
这里的分界线是:**这个工具的调用由谁决策?**如果是模型决策,它必须在 schema 里;如果是代码决策,它就不该占提示词的位置。
结果是这些
同一条消息、同一个干净会话,只改工具加载策略,取 API 返回的实际 usage 字段:
| 消息 | 优化前 | 优化后 | 降幅 |
|---|---|---|---|
| 「在吗」 | 5,710 | 4,566 | −20% |
| 「今天大盘怎么样」 | 16,428 | 7,280 | −56% |
| 「视频平台最近有什么新内容」 | 16,431 | 6,601 | −60% |
工具定义单项:13,456 → 2,244(基础)/ 3,958(视频平台)/ 4,950(股票)。
寒暄类只降了两成,因为它的工具定义本来就少;带工具的问句降了一半以上,因为那部分是纯粹被工具 schema 撑起来的。
按日均 170 万 token 计算,每天减少 60 到 80 万。
但这条路有个代价
按类别加载、基础集瘦身、白名单裁剪,这三步都在做同一件事:让提示词里的工具定义更少。
它们同时也都在做另一件事:让工具定义更不稳定。
而工具定义排在历史前面,不稳定就意味着缓存失效。
如果只看 token 数,这三步全是收益;把缓存单价算进去,第三篇要讲的那个”让失效只发生一次”的机制才是把它们兜住的东西。
下一篇讲那个机制:为什么一个”加载过就一直带着”的简单规则,能让缓存的收益翻倍。