1535 字
8 分钟
注意力窗口外的东西,模型还记不记得

现代模型的注意力窗口有限。窗口外的信息怎么办?

有一类思路是在注意力之外挂一条持久状态:一个随着序列不断更新、能被后续 token 读到的小向量,相当于给模型一个容量很小的工作记忆。

这个想法听起来合理。但它很容易被一种假的验证方式骗过——如果测试任务里答案其实还在窗口内,或者数据布局让关键事实恰好贴着查询,那模型表现好,你根本分不清是状态起了作用,还是注意力碰巧覆盖到了。

所以这个实验的目标不是证明架构好,而是先造一个能把”窗口外”变成物理事实的装置。

让注意力真的看不见#

第一步是硬切断。用的是带状因果掩码,窗口固定 16——当前 token 只能看到前 16 个位置,更远的直接被掩掉。这不是软限制,是物理上不可见。

第二步是控制距离。任务是合成的:文档里放几个(键, 值)事实,加噪声,最后给一个查询键,要求输出对应的值。布局是这样:

[事实1][事实2][事实3] [噪声 × d] [查询键]
↑
恰好隔 d 个噪声

d=8 时事实在窗口内,d=16 刚好出窗,d≥24 完全不可见。

这里有个教训值得先说。我的第一版协议把噪声插在事实前面,结果出现了”最后一条事实贴着查询”的伪影,读数虚高,整套数据作废重跑。控制变量这件事,在合成任务里也一样要老老实实做。

对照怎么设#

五个变体,都用 CPU 训练三千步:

纯注意力作为对照组;混合版是注意力加八个状态槽再加一个可学习门;固定门版把门固定成 0.5;只有状态没有注意力;以及一个经典基线 RNN 加注意力。

状态层的更新大致是:路由决定写到哪个槽,门决定写多少,候选决定写什么,然后按加权方式合并进状态。

能站住的部分#

距离扫描的结果(每点 192 个样本):

距离纯注意力混合固定门只有状态
8(窗内)0.3330.4380.3390.412
16(窗外)0.0730.4580.4380.307
240.0050.4220.4220.016
320.0000.2400.3070.000
480.0000.0160.0630.000
64+0.0000.0000.0000.000

三个读数我觉得站得住。

装置本身有效。 纯注意力在距离 16 之后精确衰减到零,说明掩码没有泄漏。距离 16 那个 0.073 是”刚出窗”的边界效应,符合预期。如果这条不成立,后面所有结论都不用看。

距离 24 处 0.422 对 0.005,两次独立训练都复现了。 门控版和固定门版都是 0.422,纯注意力是 0.005。这个量级的差距远超噪声,是状态在窗口外携带信息的证据——不是相关性,是”把注意力物理切断之后它依然答对”。

只有状态的那个在距离 24 崩了(0.016)。 这个结果反而是好消息:说明状态单独不够用,需要和注意力配合。如果纯状态模型就能打平,说明测试太简单。

另外做两个健全性检查:把状态完全打乱后,性能掉到盲猜水平,证明状态确实在被依赖;重置状态后与正常情况有明显差距,方向支持状态承载跨段信息。

不敢下结论的部分#

这部分比上面那些数字更值得写。

噪声很大。 这个实验没有固定随机种子,每次训练的数据集都不一样。实测跨运行的方差在 0.06 到 0.09 之间——意味着所有小于 0.1 的组间差异都不可靠。上面三条结论都在 0.3 以上,稳;下面的不行。

“可学习门有价值”这条被我自己的数据否掉了。 我原本假设门控会更好。实测下来,门控版和固定门版在距离 32 是 0.240 对 0.307,固定门反而略优。而且门的指标本身是健康的,说明门确实在被使用,只是没转化成优势。

距离 48 归零,不代表状态做不到长程。 训练时的距离分布上限只有二十几到四十几,48 是分布外。这更像是外推失败,不是架构限制。真正的长程结论必须等距离课程训练。

RNN 加注意力的基线训练失败了(准确率接近随机)。所以”混合版是不是 RNN 换皮”这个问题,这一轮根本没有回答——对照失效了,不能拿它下任何结论。这条我一开始想含糊过去,最后还是在报告里明确标成”本轮无效”。

槽数量消融没有出现容量单调增益。 一到十六个槽全部弱于主模型,那个 0.25 的平台更可能是训练预算和容量的联合限制,我没有拿到支持容量假说的清晰证据。

这个实验能说什么#

在合成任务的这个规模下,持久状态确实能在注意力窗口外携带信息,差距是 0.4 量级,可复现。

它不能说明:门控有价值、状态能长程保持、这不是 RNN 换皮、这个结论能推广到语言建模。几百万参数、单任务,所有结论严格限定在这个协议内。

下一步的清单是:距离课程训练回答真正的长程问题;固定种子、每配置三次运行报均值和标准差;修基线超参补上换皮对照;门机制重新设计或者直接删掉;槽路由从静态键改成内容寻址。


写完回头看,这个项目最大的收获不是那个 0.422,而是学会了给自己的实验划可信边界。一个能证伪自己的装置,比一个能刷高分的装置有用。

注意力窗口外的东西,模型还记不记得
https://neko.aliceneko.xyz/posts/hakus-hybrid-experiment/
作者
Alice Charlotte
发布于
2026-10-20
许可协议
CC BY-NC-SA 4.0