20230210组会论文总结

目录

【Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method】

【ShuffleMixer: An Efficient ConvNet for Image Super-Resolution】

 【A Close Look at Spatial Modeling: From Attention to Convolution 】

 【DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention 】

【DAE-Former: Dual Attention-guided Efficient Transformer for Medical Image Segmentation】


【Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method】

代码链接:https://github.com/TaoWangzj/LLFormer

主要创新点:设计了Axis Multi-Head Self-Atention,常规计算Attention的方式是逐像素去计算,时间复杂度为O(HW*HW),有一些论文会转换为计算通道维度的注意力计算,比如Restormer,时间复杂度可以降低到O(C*C),这种方式可以,但是本人觉得更多偏向于了通道维度,对于一些应用场景下, 还是避不开需要去计算空间维度的注意力,本文感觉最大的idea就是设计了将H和W两者分开计算,串联实现的想法。

通过上图可以看到,以2*3的空间输入为例,Heights Axis方面计算得到的QKV矩阵均是2*2的,而Width Axis计算的QKV则是3*3的,整体上的时间复杂度就变成了O(H*H+W*W),确实是可以实现时间复杂度降维,目前不太确定这种方式的实现效果是否会比常规O(HW*HW)的效果好一些,但是感觉在计算Height和Width维度上的时候不可避免的会造成信息损失,但由于使用的结构是级联式Transformer结构,可以将这些损失降到最低通过不断堆积Transformer Block。

还有双门控FFN和Layer Attention,其实都是较为常见的已有工作。

【ShuffleMixer: An Efficient ConvNet for Image Super-Resolution】

主要创新点:这个比较有意思的点在我看来就是Shuffle Mixer Layer中的Channel Projection,其实关于Shuffle的操作有很多,这个将特征进行通道维度的打散,然后随机去计算权重,通过两次Channel Projection将通道恢复,从而可以实现更强的特征融合和表征能力,提高模型的鲁棒性。

 

 【A Close Look at Spatial Modeling: From Attention to Convolution 】

主要创新点:Transformer通常需要计算QKV从而计算出Self-Attention,这个步骤需要很大的算力,本文提出了一种新的想法去避开QKV去计算出相似性矩阵,CHW特征矩阵和经过pool操作后的矩阵相乘得到,有意思的是设计的Competitive Information Bottleeneck模块,设计了竞争机制。

 【DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention 】

主要创新点:设计了一种Unet形式的网络架构,主要创新点的DEAB模块里边使用了CGA(Content-Guided Attention),看起来很强具有全局的注意力,实现方式其实就是使用了CBAM和Shuffle Channel。

其实可以发现很多论文都使用了Shuffle Channel的操作,目前想法是能不能将Shuffle Channel的操作加入到多模态中进行融合增强呢?

【DAE-Former: Dual Attention-guided Efficient Transformer for Medical Image Segmentation】

主要创新点:主要是在计算注意力(QKV)的时候进行了归一化K和V,使得时间复杂度降低,并且与传统的Dot-Product Attention相比,不是通过Q和K计算相似性矩阵(时间复杂度为O(N*N)),再与V进行乘法(时间复杂度为O(N*dv)),而是通过转置,先计算经过归一化后的K和V,计算Global Context Vector(时间复杂度为O(dk*dv))。

注:以上仅个人观后的想法,若有不足,请及时指出,欢迎大家讨论学习!

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>