TIP2022|领域迁移Adaboost,让模型“选择”学哪些数据

论文下载:https://zdzheng.xyz/files/TIP_Adaboost.pdf

备份:https://arxiv.org/pdf/2103.15685.pdf

作者:Zhedong ZhengYi Yang

代码链接: GitHub - layumi/AdaBoost_Seg: TIP2022 Adaptive Boosting (AdaBoost) for Domain Adaptation ? Why not !

 

What: 

  1. “难”样本对于Domain Adaptation 语意分割模型来说特别重要,比如 Cityscapes中 “train”这种类别出现的场景比较少,自然在“Cityscapes”上的火车预测也特别差。 这就导致,每次训练,模型的抖动特别大, 有时候不同epoch(如data shuffle顺序不同等因素),就会在测试集上 就有 较大的performance gap。
  2. 所以考虑到 难样本挖掘,一个很自然的想法就是 用Adaboost, 这个是我的人脸检测老本行中一个最work的策略。具体可见(郑哲东:AdaBoost 笔记) 大概意思是,每次根据之前的“弱分类器”决定下一轮 我们应该学什么。在人脸检测上,就是根据前一个分类器分错的样本,做针对性的优化。
  3. 故本文基于Adaboost 的概念,做了一个很简单的事情,针对 Domain Adapation 这个任务 做 Adaptative Boosting。 根据训练过程中的snapshot(可以看成弱分类器),来针对性“选择”难样本,提高他们采样到的概率,如下图。

How

  1. 其实思路是 还是按照以前模型训练方式,有source domain上的 Segmentation loss 和 一些正则Regularization (比如 adversarial loss 拉近两个 domain的gap)
  2. 通过这种方法 我们可以每轮训练一个模型,得到weak models (这都是在一次训练中的),我们通过weight moving average的方式 得到 Student Aggregation 也就是 “臭皮匠们组成的诸葛亮”。
  3. 我们根据“诸葛亮” 主分类器和辅助分类器意见不同的样本来估计 样本难度。 如下图,

4. 通过估计出来的预测KL差异(样本难度) Vkl 我们去更新 目标领域采样器,给难样本多采一些。 如下更新采样方式:(这里Vkl 我们做了 Softmax确保 所有样本的概率和是1 

5. 其实臭皮匠们组成的诸葛亮的方式 就很简单 ,就是 平均模型参数,在训练过程中,我们用了一个简单的动态 公式。进来一个之前臭皮匠就往下来,新来的给一个平均权重。

实验:

  1. 需要注意的是:单纯使用 难样本采样策略,是不能保证单个模型能训练得更好的。 因为就像Adaboost一样,我们让模型overfit难样本,为了获得一个互补的模型,这个单模型在单独使用的情况下,不一定能更好。我们得到了一个类似的结论,单用难样本只能到 48.1,但结合 了 模型组合 可以到 49.0 。 同时如果只能模型组合嫩到 48.4左右的 准确率。

2. 归功于弱模型组合,我们的训练过程也比较稳定。相比虚线的 传统方案,显然我们组合后的模型较为稳定。

3. 同时我们在 几个 benchmarks 也体现出了相对的提升(已经不是sota了。。最新的sota可以关注我们的另一个工作:GitHub - chen742/PiPa: Official Implementation of PiPa: Pixel- and Patch-wise Self-supervised Learning for Domain Adaptative Semantic Segmentation 

4. 另外我们提出的方法在传统 VGG16backbone上也work

5. 我们也与 MeanTeacher做了一些比较。我们没有引入 teacher student distillation loss 所以 这样反而保证了单个模型  互补性。在Cifar10 基于同一个网络结构,我们也比 MeanTeacher更高一些。

最后感谢大家看完,欢迎点赞转发~~也欢迎关注我的其他文章​​​​​​​2020年 行人重识别的挑战 与 最新进展 (35页PPT整理) - 知乎

IJCV2022 | 逆转特征让re-id模型从88.54%到0.15% - 知乎

IJCV | 利用Uncertainty修正Domain Adaptation中的伪标签 - 知乎

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇

)">
下一篇>>