1417 字
7 分钟
把 81 个工具塞进提示词,然后想办法拿出来

上一篇讲的是把可复用的内容排成稳定前缀。

这一篇处理前缀里最大的一块:工具定义。

先看它有多肥#

拆开一次请求的输入,比例是这样的:

部分token
工具定义的 JSON schema13,400(全量时)
动态上下文2,100
静态人格提示词1,400

八十一 个工具,每个都要给出名字、描述、参数结构、参数类型、是否必填。这些信息必须是结构化 JSON,因为模型的工具调用依赖它。

一万三千 token 意味着什么?一次寒暄请求总共才六千多 token。也就是说,光是把工具列表摆出来,就已经是实际对话内容的两倍。

第一个想法,被实测否决#

一个很自然的思路是:请求里只放工具名清单,模型需要用到某个工具时,再单独把它的完整 schema 取过来。

理论上,这能把 13,400 压到几百 token。听起来像是稳赚。

实测结果:

请求形态模型是否发起工具调用
精简工具 + 工具名目录文本否
精简工具,无目录是
全量工具,无目录是

第一行是致命的。只要模型看到工具名清单,它就不再走结构化调用了——它会直接在正文里写 工具名 {},像是在模仿某种它见过的格式,然后等着别人来解析。

第二行和第三行的对比说明这不是”工具太少所以不用”,而是”目录文本本身改变了它的行为模式”。三个形态里,只有带目录的那个失效。

这个方案对测试过的所有主模型都不成立,代码已经删掉了。

我把这段失败记录留在报告里,因为它划定了一条边界:**省 token 不能以破坏协议为代价。**模型的工具调用行为对提示形态极其敏感,任何看起来聪明的压缩方案,都必须先跑一遍实测再说。

按类别加载#

回到现实可行的做法。

第一步是把工具分类。用关键词映射:说到”股票""大盘""持仓”就加载股票类,说到”视频""UP主”就加载视频类。日常闲聊不命中任何类别,只带基础集。

改造前的情况很难看:命中关键词就加载全部 81 个工具。实测下来,85% 的轮次背着全量工具,实际只用了其中 10 个左右。

这一步省下来的量很大,但会带来缓存问题——上一节讲过,工具数组排在历史前面,它一变,后面全部失效。这个问题留到第四节解决,先看能省多少。

基础集瘦身#

第二步是给常驻的基础集减重。

原基础集 23 个工具、3,340 token。观察一周之后,把三类低频工具挪出常驻集:技能装卸、内容创作、技能生成用的股票工具。它们不是没用,只是不该每轮都在。

版本工具数token
原基础集233,340
现基础集172,244

省下 1,945 token。判断标准很简单:过去一周有没有被主动调用过。没有就挪出去,需要时按类别加载回来。

白名单裁剪#

第三步的思路和前两步不同,值得单独说。

有些能力是通过命令直接调 API 实现的,整个链路里不经过模型的工具数组。也就是说,模型其实不需要”看见”这些工具——它不会自主决定调用它们,调用是由应用代码发起的。

既然模型不需要看见,就应该从可见列表里裁掉。

类别裁剪前裁剪后
股票1816
视频平台2313
社交平台76

视频平台砍得最多,从 23 减到 13。因为那个域里的大量操作是流程化的——浏览、筛选、评论,每一步都由上游逻辑决定,模型只负责最后”评论什么”。

这里的分界线是:**这个工具的调用由谁决策?**如果是模型决策,它必须在 schema 里;如果是代码决策,它就不该占提示词的位置。

结果是这些#

同一条消息、同一个干净会话,只改工具加载策略,取 API 返回的实际 usage 字段:

消息优化前优化后降幅
「在吗」5,7104,566−20%
「今天大盘怎么样」16,4287,280−56%
「视频平台最近有什么新内容」16,4316,601−60%

工具定义单项:13,456 → 2,244(基础)/ 3,958(视频平台)/ 4,950(股票)。

寒暄类只降了两成,因为它的工具定义本来就少;带工具的问句降了一半以上,因为那部分是纯粹被工具 schema 撑起来的。

按日均 170 万 token 计算,每天减少 60 到 80 万。

但这条路有个代价#

按类别加载、基础集瘦身、白名单裁剪,这三步都在做同一件事:让提示词里的工具定义更少。

它们同时也都在做另一件事:让工具定义更不稳定。

而工具定义排在历史前面,不稳定就意味着缓存失效。

如果只看 token 数,这三步全是收益;把缓存单价算进去,第三篇要讲的那个”让失效只发生一次”的机制才是把它们兜住的东西。


下一篇讲那个机制:为什么一个”加载过就一直带着”的简单规则,能让缓存的收益翻倍。

把 81 个工具塞进提示词,然后想办法拿出来
https://neko.aliceneko.xyz/posts/cutting-tool-schemas/
作者
Alice Charlotte
发布于
2026-11-01
许可协议
CC BY-NC-SA 4.0