这四件事都发生在同一个项目里,症状各不相同,但有同一个特征:没有任何报错。
日志是干净的,指标是正常的,用户看到的是”有时候可以,有时候不行”。
一、被悄悄丢掉的工具调用
现象:让它画图,有时候能成,有时候毫无反应。没有任何错误提示,它也不说自己失败了。
排查了很久才找到根因。模型偶尔会吐出不合法的 JSON 参数,比如画幅参数写成:
"ratio":3:4少了引号。这不是模型的”错误”——它只是在一个需要严格语法的位置上,给了个看起来像 JSON 的东西。
而旧实现的处理是:json.loads 失败,打一条 warning,然后把这个工具调用整个丢弃。
从模型的角度,它已经调用过了,于是继续往下生成。从用户的角度,什么都没发生。
这条 warning 埋在日志里,因为它不是异常,只是一条”解析失败”的记录。
修法不是修 JSON,是改掉”失败就丢弃”这个决定。
现在是七级降级:
| 级别 | 处理 |
|---|---|
| 1 | 标准 JSON 解析 |
| 2 | 移除代码块包装,截取最外层花括号 |
| 3 | 修复尾逗号 |
| 4 | 给未加引号的值补引号 |
| 5 | 单引号转双引号 |
| 6 | 清理控制字符,转义裸换行 |
| 7 | 仍然失败,就带空参数执行 |
第七级是关键。带空参数执行,工具自己会报”缺少必要参数”,用户能看到一条明确的错误。
原则可以概括成一句:宁可执行失败让用户看到错误,也不静默吞掉调用。
一条被丢弃的调用,和一个明确报错的失败,对用户来说是完全不同的两件事。前者让人以为系统坏了,后者让人知道哪里填错了。
二、表情包被当成空消息
现象:有人在群里发了个表情包,它回了一句”你想问咱什么呀”。
看起来像是”没识别出图片内容”。但真实原因更基础——它认为那条消息是空的。
消息有效性判定看的是”成功下载的图片字节列表”。表情包多为 GIF 或外链,下载经常失败,列表是空的,于是判定”这条消息什么都没说”。
判据选错了层级。
正确的判据应该是”消息里有没有图片段”,也就是看结构,而不是看”我们有没有成功处理它”。下载失败是另一个问题,该给一句占位说明,而不是把整条消息当成不存在。
这类缺陷有一个共同的形状:你要判断的是”用户做了什么”,代码判断的是”我们处理成功了吗”。
两者在正常情况下结果一致,所以测试很容易通过。一旦出现网络抖动、格式不支持、第三方限流,它们就会分叉。
我在项目里用这个形状又找到几处同类问题。现在只要看到”根据处理结果的返回值来判断用户意图”的代码,都会停下来多想一层。
三、图片被上下文挤没了
现象:某个视觉模型,有时候能看图,有时候完全”看不见”。
它不会报错,会正常回复”抱歉,我无法识别图片内容”。所以最初的判断是图片格式问题、上传失败、模型不支持。
真实原因在测试里暴露出来:动态上下文在 1,500 字符时,图片识别正常;到 3,002 字符,就完全看不见了。
图片是以 token 的形式进入上下文的,而上下文长度有上限。文本太多的时候,图片那些 token 被挤出了有效窗口。
不是模型不能识别,是它根本没有收到图。
这解释了一个很奇怪的现象:为什么”问复杂问题时它看不见图”——因为复杂问题触发的动态上下文更长。
现在的处理是,带图的轮次把动态上下文压到 1,200 字符以内,只保留时间、心情、状态这三段(决定语气的部分),把技能清单和工具偏好的内容丢掉。
有意思的是,这不是模型厂商文档里写的东西。它是在自己的数据里发现的。
四、被用掉的那个 &
现象:偶尔有消息发出来变成 &喵& 这种半截转义的样子,甚至更糟——正文里冒出纯文本 amp;。
根因不在模型,在清洗管线:
text = re.sub(r"&[^&]*&", "", text) # 先跑:移除单 & 包裹的标记text = html.unescape(text) # 后跑:还原转义输入是 &喵&,本意是”一个用 & 包裹的协议标记,内容是已转义的喵”。
但第一个正则先跑了。它贪婪地匹配了从 &喵& 这一段,把中间的内容吃掉,留下 amp;。然后 unescape 对着 amp; 什么也做不了。
两行代码顺序调换,问题就没了:先统一还原转义,再做标记剥离。
这件事的成本很低——一行调整。但它说明的问题不小:多个正则串联的时候,执行顺序本身就是逻辑。
我后来把清洗管线里所有多步处理都重新审了一遍,凡是”先删再还原”、“先提取再转义”这类组合,都检查语义依赖。
它们的共同点
四个案例放在一起看:
- 一个把失败当成了”没有发生”
- 一个把”处理成功”当成了”用户表达了什么”
- 一个把”上下文超限”表现成了”能力不足”
- 一个把”顺序错误”表现成了”规则不匹配”
这四种情况里,系统都没有抛异常,因为它每一步都在”按设计运行”。
设计本身把两种不同的情况混成了一种。
这也是为什么这类问题特别难查:调试器帮不上忙,因为没有 bug;日志里只有一条无害的 warning;复现条件依赖外部状态(网络、上下文长度、输入里的特殊字符)。
现在我的习惯是,在写”判断某件事是否发生”的代码时,先问一句:这个判据,判断的是用户的行为,还是我的处理结果?
如果是后者,它迟早会在某个边界条件下答错。