【论文速递】ECCV2022 – 密集高斯过程的小样本语义分割
【论文速递】ECCV2022 - 密集高斯过程的小样本语义分割
【论文原文】：Dense Gaussian Processes for Few-Shot Segmentation
获取地址：https://arxiv.org/pdf/2110.03674.pdf
博主关键词： 小样本学习，语义分割，高斯过程
推荐相关论文：
- 无
摘要：
小样本分割是一项具有挑战性的密集预测任务，它需要分割一个新的查询图像，只给予一个小的注释支持集。因此，关键问题是设计一种方法，可以从支持集中聚合详细信息，同时对外观和上下文的巨大变化具有健壮性。为此，我们提出了一种基于密集高斯过程(GP)回归的小样本分割方法。给定支持集，我们的密集GP学习从局部深度图像特征到掩码值的映射，能够捕获复杂的外观分布。 此外，它提供了一种捕获不确定性的原则性手段，作为CNN解码器获得的最终分割的另一个强大线索。我们不再使用一维掩码输出，而是进一步利用我们方法的端到端学习功能来为GP学习高维输出空间。我们的方法在PASCAL-5i和COCO-20i基准上达到了SOTA，在COCO-20i 5-shot条件下实现了+8.4 mIoU的绝对增益。此外，当增加支持集大小时，我们方法的分割质量可以优雅地扩展，同时实现健壮的跨数据集传输。代码和训练过的模型可以在https://github.com/joakimjohnander/dgpnet上找到。
简介：
语义类[28]的图像小样本分割(FSS)近年来受到越来越多的关注。其目的是基于少量带注释的训练样本(通常称为支持集)对新的查询图像进行分割。因此，FSS方法需要从支持集中提取信息，以便准确地分割给定的查询图像。这个问题非常具有挑战性，因为查询图像可能会呈现与支持集中所表示的完全不同的视图、上下文、场景和对象。
任何FSS框架的核心组件都是从支持集中提取信息以指导查询图像分割的机制。然而，这个模块的设计提出了几个挑战。首先，它需要从支持集中聚合详细但可概括的信息，这**需要灵活的表示** 。其次，FSS方法应该有效地利用更大的支持集，在 增加其大小时实现可扩展的分割性能 。虽然乍一看可能微不足道，但这已被证明是许多最先进的方法的主要障碍，如图1所示。第三，该方法必须在支持集中不包含外观的情况下进行查询 。即使在这种常见情况下，为了实现稳健的预测，该方法也需要评估支持图像中信息的相关性，以便在必要时优雅地恢复到例如学习的分割先验。
Fig. 1. 提出的DGPNet方法在PASCAL-5i和COCO- 20i基准上的性能，与最先进的比较。我们为不同数量的支持样本绘制mIoU(越高越好)。对于我们的方法，我们展示了5次实验的平均值和标准差。我们GP-based的方法有效地利用了更大的支持集，在分割精度方面取得了实质性的改进。我们的方法在极端的一次性情况下也表现出色，甚至超过了之前在COCO-20i上报道的所有结果。
我们通过使用高斯过程(GPs)在支持集中密集聚集信息来解决上述挑战。具体来说，我们使用GP学习密集局部深度特征向量与其对应掩码值之间的映射。 基于相应特征向量之间的相似性，假设掩码值具有联合高斯分布，并具有协方差。这允许我们从支持集中提取详细的关系，并具有建模复杂的非线性映射的能力。作为一个非参数模型[25]，GP进一步有效地受益于额外的支持样本，因为所有给定的数据都被保留。如图1所示，该方法的分割精度随着支持样本数量的增加而不断提高。最后，GP的预测协方差提供了基于支持集中局部特征相似性的不确定性的原则性度量。
我们的FSS方法通过情景训练进行端到端学习，将GP视为神经网络中的一层。 这进一步允许我们了解GP的输出空间。为此，我们用神经网络对给定的支持掩码进行编码，以实现多维输出表示。为了生成最终的掩码，我们的解码器模块使用了预测的平均查询编码，以及协方差信息。因此，我们的解码器能够推理不确定性时，融合预测掩码编码与学习分割先验。最后，我们进一步改进了FSS方法，在多个尺度上整合密集GPs。
我们在两个基准上进行了综合实验:PASCAL-5i[28]和COCO-20i[22]。我们提出的DGPNet优于现有的5- shot方法，在两个基准上都设定了新的最先进的技术。当使用ResNet101主干时，我们的DGPNet在具有挑战性的COCO-20i基准上实现了5-shot分割的绝对增益8.4，与文献中报道的最佳结果相比。我们进一步展示了DGPNet方法从COCO-20i到PASCAL的跨数据集传输能力，并进行了详细的消融研究，以探测我们贡献的有效性。
Fig. 2. 我们的方法概述。支持图像和查询图像通过编码器分别生成深度特征x_S和x_Q。支持掩模通过另一个编码器输出y_S(图中E = 1)。使用高斯过程回归，我们在给定支持集和查询特征的情况下推断查询掩码编码y_Q的概率分布(见公式5-7)。我们创建这个分布的表示，并将其送入解码器。解码器然后预测原始分辨率的分割。
【社区访问】
【论文速递 | 精选】
阅读原文访问社区