权重衰退(PyTorch)
文章目录
权重衰减
前面我们描述了过拟合的问题,本节我们将介绍一些正则化模型的技术。 我们总是可以通过去收集更多的训练数据来缓解过拟合。 但这可能成本很高,耗时颇多,或者完全超出我们的控制,因而在短期内不可能做到。 假设我们已经拥有尽可能多的高质量数据,我们便可以将重点放在正则化技术上。
范数与权重衰减
使用均方范数作为硬性限制
- 通过限制参数值的选择范围来控制模型容量
m
i
n
l
(
w
,
b
)
s
u
b
j
e
c
t
t
o
∣
∣
w
∣
∣
2
≤
θ
min;l(w,b)quad subject;to;||w||^2letheta
- 通常不限制偏移 b (限不限制都差不多)
- 小的
θ
theta
一个多项式中的高次项的系数变小了,函数也就变平滑了。
使用均方函数作为柔性限制
- 对每个
θ
theta
λ
lambda
m
i
n
l
(
w
,
b
)
+
λ
2
∣
∣
w
∣
∣
2
min;l(w,b)+{lambda over 2}||w||^2
- 可以通过拉格朗日乘子来证明
- 超参数
λ
lambda
-
λ
=
0
lambda=0
-
λ
−
>
∞
,
w
∗
−
>
0
lambda ;-> infty,w^*->0
-
λ
2
∣
∣
w
∣
∣
2
{lambda over 2}||w||^2
2λ∣∣w∣∣2 就是 penalty,惩罚项
演示对最优解的影响
- 绿线是损失函数的取值,黄线是惩罚项的取值,两者都是圈越大取值越大
- 我们的目标是为了减小loss,同样的loss,那只能通过更小的w来实现
- 主要就看loss和penalty的变化速度,
w
∗
w^*
w∗就是二者的一个平衡点,往左下,loss变大的快,penalty的减少不足以弥补;往右上,penalty变大的快,loss的减少不足以弥补
- 可以看
王木头学科学
的视频,从“拉格朗日乘数”看到“L1L2正则化权重衰竭”
参数更新法则
- 计算梯度
∂
∂
w
(
l
(
w
,
b
)
+
λ
2
∣
∣
w
∣
∣
2
)
=
∂
l
(
w
,
b
)
∂
w
+
λ
w
{partial over partial w}(l(w,b)+{lambda over 2||w||^2})={partial l(w,b) over partial w}+lambda w
- 时间 t 更新参数
w
t
+
1
=
w
t
−
η
∂
∂
w
t
w
t
+
1
=
(
1
−
η
λ
)
w
t
−
η
∂
l
(
w
t
,
b
t
)
∂
w
t
w_{t+1}=w_t-eta{partial over partial w_t}\ w_{t+1}=(1-etalambda)w_t-eta{partial l(w_t,b_t) over partial w_t}
wt+1=wt−η∂wt∂wt+1=(1−ηλ)wt−η∂wt∂l(wt,bt)
- 通常
η
λ
<
1
etalambda < 1
- 对权重参数进行衰退处理,防止其过大
- 看不明白的,看吴恩达1.5,有个样例图好理解
总结
- 权重衰退通过 L2 正则项使得模型参数不会过大,从而模型复杂度
- 正则项权重是控制模型复杂度的超参数
我们可以通过刚性写法,使得w总是比一个
θ
theta
θ小
但是在真正优化的时候,我们是通过一个λ
lambda
λ来控制它的强度。而且
λ
lambda
λ等价于每次在更新的时候对于权重做了一次放小,等价于权重衰退的过程。
从零开始实现
高维线性回归
我们通过一个简单的例子来演示权重衰减。
%matplotlib inline
import torch
from torch import nn
from d2l import torch as d2l
首先,我们像以前一样生成一些数据,生成公式如下:
我们选择标签是关于输入的线性函数。 标签同时被均值为0,标准差为0.01高斯噪声破坏。 为了使过拟合的效果更加明显,我们可以将问题的维数增加到
d
=
200
d=200
d=200, 并使用一个只包含20个样本的小训练集。
n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5
true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
train_data = d2l.synthetic_data(true_w, true_b, n_train)
train_iter = d2l.load_array(train_data, batch_size)
test_data = d2l.synthetic_data(true_w, true_b, n_test)
test_iter = d2l.load_array(test_data, batch_size, is_train=False)
初始化模型参数
首先,我们将定义一个函数来随机初始化模型参数。
def init_params():
w = torch.normal(0, 1, size=(num_inputs, 1), requires_grad=True)
b = torch.zeros(1, requires_grad=True)
return [w, b]
定义
L
2
L_2
L2范数惩罚
实现这一惩罚最方便的方法是对所有项求平方后并将它们求和。
def l2_penalty(w):
return torch.sum(w.pow(2)) / 2
定义训练代码实现
下面的代码将模型拟合训练数据集,并在测试数据集上进行评估。 从 3节以来,线性网络和平方损失没有变化, 所以我们通过d2l.linreg和d2l.squared_loss导入它们。 唯一的变化是损失现在包括了惩罚项。
def train(lambd):
w, b = init_params()
net, loss = lambda X: d2l.linreg(X, w, b), d2l.squared_loss
num_epochs, lr = 100, 0.003
animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',
xlim=[5, num_epochs], legend=['train', 'test'])
for epoch in range(num_epochs):
for X, y in train_iter:
# 增加了L2范数惩罚项,
# 广播机制使l2_penalty(w)成为一个长度为batch_size的向量
l = loss(net(X), y) + lambd * l2_penalty(w)
l.sum().backward()
d2l.sgd([w, b], lr, batch_size)
if (epoch + 1) % 5 == 0:
animator.add(epoch + 1, (d2l.evaluate_loss(net, train_iter, loss),
d2l.evaluate_loss(net, test_iter, loss)))
print('w的L2范数是:', torch.norm(w).item())
忽略正则化直接训练
我们现在用lambd = 0禁用权重衰减后运行这个代码。 注意,这里训练误差有了减少,但测试误差没有减少, 这意味着出现了严重的过拟合。
使用权重衰减
下面,我们使用权重衰减来运行代码。 注意,在这里训练误差增大,但测试误差减小。 这正是我们期望从正则化中得到的效果。
train(lambd=3)
欧几里得距离就是
L
2
L_2
L2范数,就是一个向量的模长
L
2
L_2
L2范数是指向量各元素的平方求和,然后开根号
简洁实现
由于权重衰减在神经网络优化中很常用, 深度学习框架为了便于我们使用权重衰减, 将权重衰减集成到优化算法中,以便与任何损失函数结合使用。 此外,这种集成还有计算上的好处, 允许在不增加任何额外的计算开销的情况下向算法中添加权重衰减。 由于更新的权重衰减部分仅依赖于每个参数的当前值, 因此优化器必须至少接触每个参数一次。
在下面的代码中,我们在实例化优化器时直接通过weight_decay指定weight decay超参数。 默认情况下,PyTorch同时衰减权重和偏移。 这里我们只为权重设置了weight_decay,所以偏置参数
b
b
b不会衰减。
def train_concise(wd):
net = nn.Sequential(nn.Linear(num_inputs, 1))
for param in net.parameters():
param.data.normal_()
loss = nn.MSELoss(reduction='none')
num_epochs, lr = 100, 0.003
# 偏置参数没有衰减
trainer = torch.optim.SGD([
{"params":net[0].weight,'weight_decay': wd},
{"params":net[0].bias}], lr=lr)
animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',
xlim=[5, num_epochs], legend=['train', 'test'])
for epoch in range(num_epochs):
for X, y in train_iter:
trainer.zero_grad()
l = loss(net(X), y)
l.mean().backward()
trainer.step()
if (epoch + 1) % 5 == 0:
animator.add(epoch + 1,
(d2l.evaluate_loss(net, train_iter, loss),
d2l.evaluate_loss(net, test_iter, loss)))
print('w的L2范数:', net[0].weight.norm().item())
net[0] 指的就是nn.Sequential()里的第一个全连接层
QA
-
实际中权重衰减的值一般设置为多少好?
1
e
−
2
,
1
e
−
3
,
1
e
−
4
1e^{-2},1e^{-3},1e^{-4}
1e−2,1e−3,1e−4
权重衰退的效果不是很好,不要期望太大 -
为什么要把w往小拉?如果最优解的w就是比较大的数,那么权重衰减是不是会有反作用?
实际会有噪音,加入惩罚,使得w变小,可以减小底部震荡,更快收敛到一个靠近真实底部的位置。
通常来说噪音越大,w也会越大。