【深度学习】学习率lr(Learning Rate)
学习率lr
学习率一般指在计算代价函数（损失函数Loss Function）时，控制函数自变量的变化大小（通常自变量为训练周期epoch），以使得因变量（损失值）渐趋最小或局部最小。
在深度学习中，我们希望每次训练的损失值越小越好，学习率正是用来降低损失值的一个影响自变量的常量。
自变量变化的公式
在变化公式中，公式右边求差的结果赋予左边。
原x减去lr与函数f(x)对x求偏导(即求所在点的斜率)的乘积得到新x的值。
也即：
当斜率为负的时候，新的x大于原来的x;
当斜率为正的时候，新的x小于原来的x。
（二者均使得因变量的值向最低点收拢）
损失值随自变量的变化反映在曲线图上是这样的：
学习率恰当的时候：
学习率过大的时候：
学习率太小，收拢效果不明显。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
THE END
二维码