现代模型的注意力窗口有限。窗口外的信息怎么办?
有一类思路是在注意力之外挂一条持久状态:一个随着序列不断更新、能被后续 token 读到的小向量,相当于给模型一个容量很小的工作记忆。
这个想法听起来合理。但它很容易被一种假的验证方式骗过——如果测试任务里答案其实还在窗口内,或者数据布局让关键事实恰好贴着查询,那模型表现好,你根本分不清是状态起了作用,还是注意力碰巧覆盖到了。
所以这个实验的目标不是证明架构好,而是先造一个能把”窗口外”变成物理事实的装置。
让注意力真的看不见
第一步是硬切断。用的是带状因果掩码,窗口固定 16——当前 token 只能看到前 16 个位置,更远的直接被掩掉。这不是软限制,是物理上不可见。
第二步是控制距离。任务是合成的:文档里放几个(键, 值)事实,加噪声,最后给一个查询键,要求输出对应的值。布局是这样:
[事实1][事实2][事实3] [噪声 × d] [查询键] ↑ 恰好隔 d 个噪声d=8 时事实在窗口内,d=16 刚好出窗,d≥24 完全不可见。
这里有个教训值得先说。我的第一版协议把噪声插在事实前面,结果出现了”最后一条事实贴着查询”的伪影,读数虚高,整套数据作废重跑。控制变量这件事,在合成任务里也一样要老老实实做。
对照怎么设
五个变体,都用 CPU 训练三千步:
纯注意力作为对照组;混合版是注意力加八个状态槽再加一个可学习门;固定门版把门固定成 0.5;只有状态没有注意力;以及一个经典基线 RNN 加注意力。
状态层的更新大致是:路由决定写到哪个槽,门决定写多少,候选决定写什么,然后按加权方式合并进状态。
能站住的部分
距离扫描的结果(每点 192 个样本):
| 距离 | 纯注意力 | 混合 | 固定门 | 只有状态 |
|---|---|---|---|---|
| 8(窗内) | 0.333 | 0.438 | 0.339 | 0.412 |
| 16(窗外) | 0.073 | 0.458 | 0.438 | 0.307 |
| 24 | 0.005 | 0.422 | 0.422 | 0.016 |
| 32 | 0.000 | 0.240 | 0.307 | 0.000 |
| 48 | 0.000 | 0.016 | 0.063 | 0.000 |
| 64+ | 0.000 | 0.000 | 0.000 | 0.000 |
三个读数我觉得站得住。
装置本身有效。 纯注意力在距离 16 之后精确衰减到零,说明掩码没有泄漏。距离 16 那个 0.073 是”刚出窗”的边界效应,符合预期。如果这条不成立,后面所有结论都不用看。
距离 24 处 0.422 对 0.005,两次独立训练都复现了。 门控版和固定门版都是 0.422,纯注意力是 0.005。这个量级的差距远超噪声,是状态在窗口外携带信息的证据——不是相关性,是”把注意力物理切断之后它依然答对”。
只有状态的那个在距离 24 崩了(0.016)。 这个结果反而是好消息:说明状态单独不够用,需要和注意力配合。如果纯状态模型就能打平,说明测试太简单。
另外做两个健全性检查:把状态完全打乱后,性能掉到盲猜水平,证明状态确实在被依赖;重置状态后与正常情况有明显差距,方向支持状态承载跨段信息。
不敢下结论的部分
这部分比上面那些数字更值得写。
噪声很大。 这个实验没有固定随机种子,每次训练的数据集都不一样。实测跨运行的方差在 0.06 到 0.09 之间——意味着所有小于 0.1 的组间差异都不可靠。上面三条结论都在 0.3 以上,稳;下面的不行。
“可学习门有价值”这条被我自己的数据否掉了。 我原本假设门控会更好。实测下来,门控版和固定门版在距离 32 是 0.240 对 0.307,固定门反而略优。而且门的指标本身是健康的,说明门确实在被使用,只是没转化成优势。
距离 48 归零,不代表状态做不到长程。 训练时的距离分布上限只有二十几到四十几,48 是分布外。这更像是外推失败,不是架构限制。真正的长程结论必须等距离课程训练。
RNN 加注意力的基线训练失败了(准确率接近随机)。所以”混合版是不是 RNN 换皮”这个问题,这一轮根本没有回答——对照失效了,不能拿它下任何结论。这条我一开始想含糊过去,最后还是在报告里明确标成”本轮无效”。
槽数量消融没有出现容量单调增益。 一到十六个槽全部弱于主模型,那个 0.25 的平台更可能是训练预算和容量的联合限制,我没有拿到支持容量假说的清晰证据。
这个实验能说什么
在合成任务的这个规模下,持久状态确实能在注意力窗口外携带信息,差距是 0.4 量级,可复现。
它不能说明:门控有价值、状态能长程保持、这不是 RNN 换皮、这个结论能推广到语言建模。几百万参数、单任务,所有结论严格限定在这个协议内。
下一步的清单是:距离课程训练回答真正的长程问题;固定种子、每配置三次运行报均值和标准差;修基线超参补上换皮对照;门机制重新设计或者直接删掉;槽路由从静态键改成内容寻址。
写完回头看,这个项目最大的收获不是那个 0.422,而是学会了给自己的实验划可信边界。一个能证伪自己的装置,比一个能刷高分的装置有用。