LinearAttention系列解读(五)：VLA,GLA的Chunkwise Form推导

前四篇我们讨论了Vanilla Linear Attention (VLA)、DeltaNet、Gating，以及把它们组合起来的Gated DeltaNet (GDN)和Kimi Delta Attention (KDA)。它们都可以写成固定大小state的递归形式，推理时每步只需的计算与存储。

但训练时直接按token递推是串行的，无法充分利用GPU。

另一个极端是写成并行形式，如VLA的，它是矩阵乘法，但复杂度为。

Chunkwise form是二者的折中：把序列切成长度为的chunk，chunk之间用递推传递state（串行步），chunk内部用矩阵乘法并行计算。时退化为逐token递推，时退化为完全并行形式。

文本将详细解读如何将vanilla linear attention与gated linear attention写成chunkwise form。

记chunk size为,不妨假定序列长度能整除chunk size。即。根据这个定义，第个chunk 覆盖token ，进一步定义

同理。显然，。

为方便阐述，在推导某一个chunk内部时，省略下标，用表示该chunk内第个token（即token ）。

标准的softmax attention在时刻的输出为：

可以抽象成：

对于标准的softmax attention, linear attention 将sim kernel定义成可拆解形式：

这样设计有一个很大的好处，此时可以将移出求和符号

从上式可见，在generation阶段，时刻下，可以复用过去时间步的状态

此时可写作

在原始的 lienar attention 论文中，。后续很多工作对kernel function的形式进行了探究(Kasai et al., 2021, Peng et al., 2021)，但实践发现，采用linear kernel并舍弃分母的normalizer就能work的很好(Sun et al., 2023a, Yang et al., 2023)。此时的可写作：