深度学习3-神经网络和反向传播算法

神经元

神经元与感知器本质相同,但感知器的激活函数是跃迁函数;神经元的激活函数是sigmoid函数或双曲正切函数

Sigmoid函数:

 tanh函数:

 神经网络的输出

        神经网络实际上就是一个输入向量x到输出向量y的函数:

 以全连接神经网络为例:

 通过线性代数的知识可以推导出:

 向量a为某层输出向量,f是激活函数,W是权重矩阵,向量x为每层输入向量。以此类推,深层神经网络中,左侧输入向量左乘一个权重矩阵,得到一个新的向量,这个向量再作为输入向量左乘下一层权重矩阵,直到最后一层得到输出向量y。

神经网络的训练

超参数:神经网络的连接方式、网络层数、每层的节点数,超参数是人为设置的,而不是学习出来的。

反向传播算法:

由于计算某个节点的误差项,需要先计算每个与其相连的下一层节点的误差项,这就要求误差项的计算必须先从输出层开始,然后反向计算每个隐藏层的误差项,直到与输入层相连的隐藏层。所有节点误差项计算完成后,用式5更新权重。

假设每个训练样本为(向量x,向量t) ,其中向量x是训练样本的特征,而向量t是样本的目标值。

对于输出层第i个节点的误差项:

 对于隐藏层第i个节点的误差项:

 更新每个连接上的权值:


神经网络的实现 

 梯度检查

通过梯度检查判断参数wji是否正确,进而判断是否有bug

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>