一个长期在线的聊天机器人需要记住跨会话的事。我的做法是本地向量检索:五百条长期记忆,512 维嵌入,全部在内存里。
这篇文章讲这条链路上几个调参发现,每一个都和直觉相反。
线程越多越慢
先看这个数字。4 核 CPU 上,同一个 512 维中文嵌入模型,同一批文本:
| 线程数 | 单条延迟 |
|---|---|
| 4 | 207ms |
| 2 | 30ms |
| 1 | 20ms |
四线程比单线程慢了十倍。
第一次看到这个结果我以为是测错了。重测、换输入、换批次,结论稳定。
原因是小模型的矩阵运算量太小,算力还不足以摊平线程间的分发和同步开销。四个线程各自抢锁、同步中间结果,光协调成本就超过了并行带来的收益。
而框架的默认值通常是”CPU 核数”。对一个几千万参数的嵌入模型来说,这个默认值是错的。
后来我在部署脚本里把 OMP_NUM_THREADS 和 torch.set_num_threads 都固定成 1,前提是只有一两个并发请求。如果 QPS 上去了,正确的做法是多进程而不是多线程——每个进程单线程,靠进程数吃满核。
这个坑的普遍性在于:所有”小模型 + 默认线程数”的组合都可能踩到。嵌入、重排序、小分类器,都是小模型。
召回数量不该固定
朴素的做法是向量检索取 top-k,k 设成 5 或者 10。
但 k 的合适值取决于库的大小。库只有二十条的时候,取前 5 条里可能有 3 条是噪声;库有五百条的时候,取 5 条可能不够覆盖。
现在的召回数是自适应的:
| 库规模 | 召回条数 |
|---|---|
| ≤20 条 | 2 |
| ≤100 条 | 4 |
| 更大 | 6 |
设计原则是:召回数量应该跟”候选池里有多少有效内容”成正比,而不是跟”我习惯取几条”挂钩。
小库取太多是净损失——噪声进上下文,既花钱又降低回答质量。
中文 BM25 必须分词
向量召回能找到语义相近的内容,但对精确词、专有名词、数字不敏感。所以补了一路 BM25。
第一次接进去的时候,关键词那一路的分数恒为 0。
不是效果差,是根本算不出来。BM25 依赖词频统计,而中文没有空格,不先分词的话整个句子被当成一个”词”,词频永远是 1,分数公式退化。
加了分词之后,这一路才开始起作用。
这个坑的危险之处在于它是沉默的:分数为 0 不会报错,融合之后权重 0.12 的那一路相当于不存在,而系统看起来一切正常。
两路分数量纲不一致怎么办
向量相似度和 BM25 分数是两个完全不同的尺度,一个是余弦距离,一个是基于词频的无界数值,直接加权平均没有意义。
解法用 RRF(Reciprocal Rank Fusion):不看分数,只看排名。
score = 1 / (60 + rank)每一路贡献一个基于排名的分数,k=60 是原论文的常用值。两路融合之后,谁排得靠前谁贡献大,而不需要关心它们各自的分数量纲。
这个方法的额外好处是不用调权重——省掉了一个必然会过拟合的参数。
时间衰减的权重只有 0.08
记忆需要时间衰减,越久远的事越该淡出。衰减函数本身很标准:
weight = 0.5 ^ (小时数 / 72)半衰期 72 小时。
但时间衰减在总分里的权重只有 0.08,而语义相似度占 0.55。
为什么压得这么低?因为它的作用是”同分时的平手裁决”,不是主导因素。如果把时间衰减的权重调高,检索会退化成”总是想起最近的”,长期记忆就等于白存了。
这个参数我调过几轮。最开始设的是 0.25,结果是明显偏近期、早期记忆几乎不出现。
但这里还有个副作用值得说:正因为时间衰减”只在同分时起作用”,反过来说明加权打分对语义的区分度可能不足——如果语义分能拉开差距,时间衰减就不会有机会介入。
所以它同时是一个诊断信号。现在我把”提高语义区分度”(上一级精排、交叉编码器)列进了改进项。
写入前必须查重
这一条不是性能问题,是容量问题。
五百条上限,如果只写不合并,两周就满了。
所以写入前有一个闸门:与已有记忆的相似度 ≥ 0.8 时,合并更新而不是新增。
similar = search(vec, top_k=1)if similar and similar[0].score >= 0.8: merge(existing=similar[0], new=memory) # 更新,不新增else: insert(memory)合并之后,库的增长速率取决于”新信息的多样性”,而不是对话量。这个区别很大——一个人在群里聊一整天,真正新的信息可能只有几条。
定期遗忘比写入更重要
最后说清理。
每六小时滚动执行一次(带 ±0.5 小时抖动),做三件事:
- 短期记忆里重要性 ≥0.35 的转入长期
- 相似度 >0.9 的近重复组,保留最重要的一条
- 超过 7 天且重要性 <0.5 的降 30%;超过 30 天且重要性 <0.3 的降到 0.05,等冷存储清理
为什么是滚动而不是”每天夜里跑一次”?因为这是长期在线的服务,“夜里空闲”这个概念不存在。随机化的滚动任务反而更均匀,也不会集中在同一时刻产生资源尖峰。
第二条那个近重复合并是防膨胀的关键。不做这一步,长期的容量很快会被同类内容填满——比如同一个人的口头禅、反复出现的日常寒暄。
这几条里,线程数和召回数属于”参数反直觉”,分词属于”沉默失败”,时间衰减权重属于”参数暴露了更深的问题”。
它们共同说明一件事:向量检索看起来是个成熟的组件,但真正决定效果的往往是这些边角参数,而它们很少写在文档里。