Paper Reading – 基础系列 – Rethinking ImageNet Pre-training

论文链接

Kaiming He 大神不用多说

更多可见计算机视觉-Paper&Code - 知乎

Abstract

先总结一下论文的几点要点,果然大牛的论文都是清楚简单易懂,各种消融对比试验砸脸上

  1. 当训练任务对位置信息非常敏感时,比如分割、key-point,imagenet pretrained用处不大
  2. 数据集可用标注数据越多,预训练的作用越小
  3. 当使用更强大的数据增强方案时,预训练反而会损害模型的性能
  4. pretrain可以使结果更快收敛,但是数据量足够大情况下随机初始化后得到的结果一般不会差于pretrain,Normalization必不可少预训练不能给模型带来正则化的效果,BatchSize的情况下尝试GroupNorm
  5. 使用初始学习率(较大的学习率),训练更长的时间是有用的,长时间使用低学习率提高准确率经常会导致过拟,这也说明 ImageNet 预训练不能防止过拟合

Experiment

作者选用了以 Resnet 和 Resnext+FPN 为骨干网络的 Mask R-CNN 模型。归一化采用 SyncBN 和 GN

使用 Warm-up 初始率为 0.02, weight_decay=0.0001。使用 Momentum 优化器,每个 GPU 的 mini batch 为 2 张图片

  1. 分别使用 GN 和 SyncBN 进行试验,在更少的迭代次数上,ImagePretrain 的收敛十分迅速,且效果也不差。而对于从 0 开始训练的模型,则需要更多的迭代学习 ,Pretrain 的作用更多的是加速收敛
  2. 训练时图像增强,能从数据多样性上增强模型性能,其代价是更多的迭代次数才能收敛。在这个情况下,两个模型都取得了性能上的提升,而从头训练的模型效果更好
  3. Cascade 增加了两个额外的阶段,针对不同的 IOU 阈值进行检测。这将有助于检测的准确性。从实验数据也能看到,从头训练的模型效果更好一点
  4. 测试时数据增强,对测试集的图片,做了不同的增强。将不同增强后的图片送入模型,然后取个平均值,作为一种正则化手段。结合了三个方法的模型性能提升尤为明显
  5. 使用没有 BN/GN 的模型,更大模型,也是相同的结论
  6. 在数据量1k时候,从零训练的模型陷入了过拟合,预训练模型和从零开始训练的模型的 mAP 分别是82.777.6

 

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>