RNN/LSTM/GRU

一、RNN

1、为何引入RNN？

循环神经网络（Recurrent Neural Network，RNN） 是用来建模序列化数据的一种主流深度学习模型。我们知道，传统的前馈神经网络一般的输入都是一个定长的向量，无法处理变长的序列信息，即使通过一些方法把序列处理成定长的向量，模型也很难捕捉序列中的长距离依赖关系。RNN则通过将神经元串行起来处理序列化的数据。由于每个神经元能用它的内部变量保存之前输入的序列信息，因此整个序列被浓缩成抽象的表示，并可以据此进行分类或生成新的序列¹。

2、RNN的基本结构

RNN的朴素形式可分别由如下两幅图表示²：

其中$x_1,x_2,\cdots ,x_T$ 是输入，每一个位置是一个实数向量；$U$、$V$、$W$ 是权重矩阵，通常在模型初始化时随机生成，通过梯度下降进行优化；$h_t$ 是位于隐藏层上的活性值，很多文献上也称为状态（State）或隐状态（Hidden State）；$p_t$ 表示第 $t$ 个位置上的输出。

$h_t$、$p_t$ 可由下列公式得出（$b$ 是偏置项）：
$$h_t=\tanh \left(U\cdot h_{t-1}+W\cdot x_t+b\right)$$

$$p_t=\mathrm{softmax}(V\cdot h_t+c)$$

3、各种形式的RNN及其应用

(图片来自于cs231n)

模式	描述	应用领域
One to One	单个输入对应单个输出	图像分类、回归任务
One to Many	单个输入生成序列输出	图像字幕生成、音乐生成
Many to One	序列输入生成单个输出	情感分析、时间序列分类
Many to Many	序列输入对应序列输出	机器翻译、语音识别
Many to Many（同步）	同步序列输入输出	视频帧分类、实时语音处理

4、RNN的缺陷

RNN通过在所有时间步共享相同的权重，使得可以在不同时间步之间传递和积累信息，从而更好地捕捉序列数据中的长期依赖关系，但是缺点也很明显：在RNN的学习过程中，由于共享权重 $W$，导致随着时间步的增加，权重矩阵 $W$ 不断连乘，最终产生梯度消失（即 $\frac{\partial {\mathcal{L}}_t}{\partial {\mathbf{h}}_k}$ 消失， $1\le k\le t$ ）和梯度爆炸，具体解释如下：

首先由RNN前向传播公式：
$$h_t=f(W\cdot h_{t-1}+U\cdot x_t+b)$$
其中 $f$ 为激活函数。

在反向传播时（BPTT），损失函数 $\mathcal{L}$ 对某一时间步长的梯度涉及到时间上所有的前置状态，因此梯度会被多个矩阵连乘表示为:
$$\frac{\partial \mathcal{L}}{\partial h_t}=\frac{\partial \mathcal{L}}{\partial h_T}\cdot \prod _{k=t}^{T-1}{A}_k$$
其中$A_k=\mathrm{diag}(f^{\prime }(h_k))\cdot W$ 。

显然若 $W>1$，随着时间的增加，多个 $W$ 连乘后结果会不断增大，最终导致梯度爆炸；

同理 $W<1$，多个 $W$ 连乘后结果会不断减小至趋于0，最终导致梯度消失。

而在CNN中，每一层的权重矩阵 $W$ 是不同的，并且在初始化时它们是独立同分布的，因此最后可以相互抵消，不容易发生梯度爆炸或消失。

5、如何应对RNN的缺陷？

① 对于梯度爆炸，一般通过权重衰减（Weight Decay） 或梯度截断（Gradient Clipping） 来避免³。权重衰减，通过引入衰减系数来约束并避免权重矩阵元素过大，从而减少梯度连乘时的爆炸风险；梯度截断，直接将梯度大小进行限制以防止梯度爆炸，比如按值截断：在第 $t$ 次迭代时，梯度为 $g_t$ ，给定一个区间 $[a,b]$ ，如果一个参数的梯度小于 $a$ 时，就将其设为 $a$ ；如果大于 $b$ 时，就将其设为 $b$，公式如下：
$${\mathbf{g}}_t=\max (\min ({\mathbf{g}}_t,b),a).$$

② 对于梯度消失，一个想法是改进激活函数，比如替换成 ReLU ，因为其右侧导数恒为 1 ，可以缓解梯度消失（不能杜绝，因为本质上是权重矩阵的问题）。缺点是不好解决梯度爆炸，从 RNN 的前向传播公式来看待这个问题，前向传播公式如下：
$$h_t=f(W\cdot h_{t-1}+U\cdot x_t+b)$$
使用 ReLU 激活函数后， $h_t$ 可表达为：
$$h_t=\mathrm{relu}\left(W\cdot h_{t-1}+U\cdot x_t+b\right)$$
显然不管 $h_{t-1}$ 怎么变化，前面始终要乘上一个权重矩阵 $W$ ，因此替换激活函数后，并不能实质上解决由于权重矩阵 $W$ 连乘而导致的梯度爆炸问题。

③ 使用合适的权重初始化方法，如 Xavier 初始化或 He 初始化，使 $W$ 的特征值接近 1 。

如果从结构上来考虑，通过改变网络结构来减缓梯度消失或爆炸，长短期记忆网络（LSTM，Long Short-Term Memory） 就是基于这个想法诞生的。

6、BPTT和BP的区别

BP算法：只处理纵向层级间的梯度反向传播，适用于前馈神经网络。

BPTT算法：在训练RNN时，需要同时处理纵向层级间的反向传播（深度方向）和时间维度上的反向传播（时间方向）。

二、LSTM

1、LSTM 简介

LSTM 是循环神经网络的一个变体，可以有效地解决简单循环神经网络的梯度爆炸或消失问题。LSTM 网络结构如下：

在这里插入图片描述

LSTM 网络引入门控机制（Gating Mechanism） 来控制信息传递的路径，公式如下：
$$\begin{array}{c}{\mathbf{i}}_t=\sigma \left({\mathbf{U}}_i\cdot {\mathbf{h}}_{t-1}+{\mathbf{W}}_i\cdot {\mathbf{x}}_t+{\mathbf{b}}_i\right)\\ {\mathbf{f}}_t=\sigma \left({\mathbf{U}}_f\cdot {\mathbf{h}}_{t-1}+{\mathbf{W}}_f\cdot {\mathbf{x}}_t+{\mathbf{b}}_f\right)\\ {\mathbf{o}}_t=\sigma \left({\mathbf{U}}_o\cdot {\mathbf{h}}_{t-1}+{\mathbf{W}}_o\cdot {\mathbf{x}}_t+{\mathbf{b}}_o\right)\\ {\tilde{\mathbf{c}}}_t=\tanh \left({\mathbf{U}}_c\cdot {\mathbf{h}}_{t-1}+{\mathbf{W}}_c\cdot {\mathbf{x}}_t+{\mathbf{b}}_c\right)\\ {\mathbf{c}}_t={\mathbf{i}}_t\odot {\tilde{\mathbf{c}}}_t+{\mathbf{f}}_t\odot {\mathbf{c}}_{t-1}\\ {\mathbf{h}}_t={\mathbf{o}}_{\mathbf{t}}\odot \tanh \left({\mathbf{c}}_t\right)\end{array}$$
进一步可以简写成：
$$\begin{array}{rl}\left[\begin{array}{c}{\tilde{\mathbf{c}}}_t\\ \\ {\mathbf{o}}_t\\ \\ {\mathbf{i}}_t\\ \\ {\mathbf{f}}_t\end{array}\right]& =\left[\begin{array}{c}\tanh \\ \\ \sigma \\ \\ \sigma \\ \\ \sigma \end{array}\right]\left(\begin{array}{c}\mathbf{W}\left[\begin{array}{c}{\mathbf{x}}_t\\ \\ {\mathbf{h}}_{t-1}\end{array}\right]+\mathbf{b}\end{array}\right),\\ & \\ {\mathbf{c}}_t& ={\mathbf{f}}_t\odot {\mathbf{c}}_{t-1}+{\mathbf{i}}_t\odot {\tilde{\mathbf{c}}}_t,\\ {\mathbf{h}}_t& ={\mathbf{o}}_t\odot \tanh \left({\mathbf{c}}_t\right),\end{array}$$

公式中有三个“门”，分别为输入门 ${\mathbf{i}}_t$ 、遗忘门 ${\mathbf{f}}_t$ 和输出门 ${\mathbf{o}}_t$ 。这三个门的作用为

• 遗忘门 $f_t$ 控制上一个时刻的内部状态 ${\mathbf{c}}_t-1$ 需要遗忘多少信息。
• 输入门 ${\mathbf{i}}_t$ 控制当前时刻的候选状态 ${\tilde{\mathbf{c}}}_t$ 有多少信息需要保存。
• 输出门 ${\mathbf{o}}_t$ 控制当前时刻的内部状态 ${\mathbf{c}}_t$ 有多少信息需要输出给外部状态 ${\mathbf{h}}_t.$

具体的可点击查看如下视频，很清晰易懂：

【【官方双语】LSTM（长短期记忆神经网络）最简单清晰的解释来了！】 https://www.bilibili.com/video/BV1zD421N7nA/?share_source=copy_web&vd_source=199a3f4e3a9db6061e1523e94505165a

2、LSTM如何缓解梯度消失与梯度爆炸？

LSTM的细胞状态更新机制（下图黄色部分）可以有效地存储长期的信息：

其更新公式如下：
$$C_t=f_t\odot C_{t-1}+i_t\odot {\tilde{C}}_t$$

由于这一过程本质是线性操作（加权求和），相当于是所有候选路径的线性组合，故不会因为一个路径上梯度的消失，而导致整体梯度不断衰减。LSTM的细胞状态经过门控机制（通过或阻断，即 1 或 0）控制这个线性组合，达到缓解梯度消失的效果；而门控机制又可以通过调节输入输出，通过灵活地舍弃一些部分，来缓解梯度爆炸问题。

简言之，由于此线性组合会通过门控机制自主的调节，而非 RNN 那样直接连乘，因此可以达到减缓梯度消失和梯度爆炸的效果，并实现对信息的过滤，从而达到对长期记忆的保存与控制。

三、GRU

门控循环单元（GRU） 是对 LSTM 进行简化得到的模型。对于 LSTM 与 GRU 而言，它们效果相当，但由于 GRU 参数更少，所以 GRU 的收敛速度更快，计算效率更高。

与LSTM相比，GRU 仅有两个门——更新门（update gate）和重置门（reset gate），不使用记忆元。重置门有助于捕获序列中的短期依赖关系，更新门有助于捕获序列中的长期依赖关系，详细结构如下图：

四、参考文献

---

1. 诸葛越, 葫芦娃, 百面机器学习, 北京:人民邮电出版社, 2018 ↩︎

2. 李航. 机器学习方法[M]. 第一版. 清华大学出版社, 2022. ↩︎

3. 邱锡鹏, 神经网络与深度学习, 北京:机械工业出版社, 2020 ↩︎