1 引言

在之前的文章中我们详细介绍过Gated Deltanet (GDN)和Kimi Delta Attention (KDA)的相关原理。GDN的核心是:data dependent scalar gating + delta rule;KDA的核心是:data dependent one-side vector gating (或者说one-side channel-wise decay) + delta rule。 不熟悉的同学可以先看: LinearAttention系列解读(四):当 Delta Rule 遇上 Gating (GDN/KDA/GDN-2)
上两篇文章中,我们也详细的推导了VLA/GLA/DeltaNet的chunkwise form的形式。 LinearAttention系列解读(五):VLA,GLA的Chunkwise Form推导LinearAttention系列解读(六):DeltaNet的Chunkwise Form推导
前置知识已经储备,这篇文章将详细解读GDN/KDA chunkwise form的推导。

2 符号约定

本文延续上篇文章(6)的符号约定:
是标量(writing strength)。chunk size为,序列长度。第个chunk 覆盖token 。chunk内第个token 对应的量,用下标标明所属chunk,用上标标明chunk内的位置,进一步定义:
与同理。显然,,就是的第行,同理
表示。是下三角causal mask(含对角线),是严格下三角mask(不含对角线)。是单位阵,维度由上下文决定。
GDN较deltanet多一个标量衰减,定义标量。全局累积衰减,。chunk内的累积衰减为
由堆叠而成。衰减mask定义为:
是第个token写入的内容衰减到第步的系数。是的最后一行,第个元素为,表示每个token写入的内容衰减到chunk末尾的系数。
KDA相比deltanet多了一个向量衰减,, 。逐元素累积衰减为
的第行是。表示逐元素除法。定义四个对齐后的量(均为第行):
对应的矩阵记为,即,同理其它。

3 GDN与KDA的recursive form

注意区别:
二者的共同点是先衰减,后做delta rule。令表示衰减后的state(GDN中,KDA中),则上面两式可以统一表示成

4 GDN的chunkwise form

4.1 第一个chunk

设。第一个chunk覆盖token 1到4,初始state为,根据式6 下面一个个看。 先看第一个chunk的第一个元素,衰减state:,代入式6
再看第二个元素。 衰减state:,代入式6有
再看第三个元素。 衰减state: ,代入式6有
再看第四个元素(该chunk的末尾) 衰减state: ,代入式6有
根据之前的符号定义,连乘,都可以用的比值表示:
整合前面的所有,构建关于方程组,将连乘用的比值表示,并把含有的项移到左边
与deltanet chunkwise form相比,GDN的每个系数多了一个,右端没有变化。将其写成阵形式:
左端的矩阵是单位下三角矩阵,行列式为1,必可逆。定义
从而有:
从而的并行化形式进一步可以写作:
根据输出的计算公式

4.2 第二个chunk

第二个chunk覆盖token 5到8。其初始state是第一个chunk的结果。根据前面的符号定义,有。 下面一个个看。 先看第二个chunk的第一个元素,其衰减state为: ,代入式6
与第一个chunk相比,多出了。第1个token从衰减后的起点状态读出预测值,再用 减去该预测值。 再看第二个元素。 衰减state:,代入式6
再看第三个元素。 衰减state:,代入式6
第四个元素同理,不再赘述。 将所有的整理成矩阵,可以得到
整理得:
其状态更新公式为:
第二个chunk的输出为

4.3 一般形式

根据上面的规律,不难写出chunk wise form的一般形式

4.4 WY形式

令
则。记,式(10)改写为

5 KDA的chunkwise form

下面来看如何推导KDA的chunkwise form。已知KDA的recursive form形式如下:
其中

5.1 第一个chunk

设。第一个chunk覆盖token 1到4,初始state为。 下面一个个看。 先看第一个chunk的第一个元素, 衰减state:,代入式6
再看第二个元素。 衰减state:,代入式6
再看第三个元素。 衰减state:,代入式6
再看第四个元素(该chunk的末尾) 衰减state:
同样我们可以整合前面的所有,构建关于方程组 在整合之前,我们先对符号进行简化。根据对角矩阵的乘法规则
其中:
  • 是逐元素除法 另外对角矩阵在上面的式子中,作用于,可以将矩阵乘法改写成逐元素乘法
结合上面2个技巧,方程组可以写为
观察一下上面的式子,有一个固定的pattern
它有一个很巧妙的变换
根据式4的符号定义上式可以简化成
这是写成chunkwise-form最关键的式子!将衰减吸收到中。
因此,方程组可以改写成:
这个式子与DeltaNet chunkwise form的方程组基本一致,区别仅在于KDA的中吸收了衰减! 类比可得
从而的并行化形式进一步可以写作:
根据输出的计算公式
该chunk的所有可以通过下式并行计算

5.2 第二个chunk

第二个 chunk 覆盖 token 5 到 8,其初始 state 是第一个 chunk 的结果 。 先看第 1 个元素, 衰减state为 ,代入式 6
再看第 2 个元素 衰减state为 ,代入式 6
第3,4个元素同理。不再赘述。 同样构建的方程组
对比第一个chunk的方程组可以发现,方程组左边与第一个chunk的形式完全一致,只是右端的 统一替换成了 。写成矩阵形式:
整理得:
由前面展开式的规律直接写出第 步状态 的通式:
取 得到状态更新公式
在式29左乘 得到
写成矩阵形式,第二个chunk的输出为

5.3 一般形式

根据上面的规律,不难写出chunk wise form的一般形式

5.4 WY形式

令,,则,从而将式33可以改写成

小结

本文详细推导了GDN/KDA的chunkwise form形式。汇总如下:
ㅤ
DeltaNet
GDN(标量gate)
KDA(向量gate)
注意,3者的的定义不同
如有疏漏之处,敬请指出~
给身边考研的小伙伴diffusion model(一):DDPM技术小结 (denoising diffusion probabilistic)
Loading...