NNDL 作业10：第六章课后题（LSTM | GRU）
目录
习题6-3 当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.
习题6-4 推导LSTM 网络中参数的梯度,并分析其避免梯度消失的效果.
习题6-5 推导GRU网络中参数的梯度,并分析其避免梯度消失的效果. (选做)
附加题6-1P:什么时候应该用GRU?什么时候用LSTM?(选做)
习题6-3 当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.
可能存在梯度爆炸的原因是令
为在第k时刻函数的输入，在计算公式中的误差项时，梯度可能会过大，从而导致梯度爆炸问题。
为了解决这个问题，可以通过引入门控机制来进一步改进模型，包括控制信息的累积速度，有选择地加入新的信息，并有选择地遗忘之前累积的信息。
习题6-4 推导LSTM 网络中参数的梯度,并分析其避免梯度消失的效果.
反向传播
对于LSTM，在任何时间步，该值可以大于1，或者在[0, 1]范围内。因此，如果我们延伸到无穷的时间步，最终并不会收敛到0或者无穷。如果开始收敛到0，那么可以总是设置的值（更高一些，使得的值接近1，从而防止了梯度消失。
习题6-5 推导GRU网络中参数的梯度,并分析其避免梯度消失的效果. (选做)
GRU具有调节信息流动的门单元，但没有一个单独的记忆单元，GRU将输入门和遗忘门整合成一个升级门，通过门来控制梯度。
附加题6-1P:什么时候应该用GRU?什么时候用LSTM?(选做)
GRU的优点是其模型的简单性 ，因此更适用于构建较大的网络。它只有两个门控，从计算角度看，它的效率更高，它的可扩展性有利于构筑较大的模型；但是LSTM更加的强大和灵活，因为它具有三个门控。LSTM是经过历史检验的方法。
因此，如果你要选取一个，我认为大多数人会把LSTM作为默认第一个去尝试的方法。
同时GRU，因为其简单而且效果可以（和LSTM）比拟，可以更容易的将其扩展到更大的问题。
ref
《神经网络的梯度推导与代码验证》之LSTM的前向传播和反向梯度推导
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
THE END
二维码