标签：tee spn 注意力 alien 部分 权重 工作 obj 图片
??现在有很多基于RGB-D的显著性目标检测，但深度信息并不是一直有用的，当物体和镜头垂直的时候，同一个物体在在深度图上的差别很大。但T通道信息没有这些问题。同时之前的RGB-T数据集都很小，作者提出了VT5000数据集，包含有5000张标注好的RGB-T显著性检测图像。
1）提出了VT5000数据集
2）提出了一个端到端的RGB-T显著性检测CNN，使用卷积块注意力模型(CBAM)来收集RGB和热红外特征。
3）SOTA
略
网络骨干由一个双流VGG构成。分别提取RGB和T通道的特征。在融合这些特征前，利用一系列注意力模块来让网络更加关注有信息的区域。虽然高层语义信息能够促进显著性目标的定位，但中低层的特征也能够细化高层特征。因此利用两个辅助模块（金字塔池化模块和特征聚合模块）来精确定位，并细化细节信息。
作者同时采用了空间注意力机制和通道注意力机制。在通道注意力机制中，与常规注意力机制利用全局平均池化来聚合空间信息不同的是，作者同时利用最大池化和平均池化，之后乘上系数将两个池化层相加来得到注意力权重。详情见图。
空间注意力相同，也是同时利用平均池化和最大池化，不同的是空间注意力机制将两个池化层concat到一起而不是相加。
特征融合的策略是RGB和T在VGG中第一个block的输出直接相加，后续的block中，先将前一个block的输出经过卷积，再分别与该block的RGB和T输出的特征相加。
双流VGG最终提取到的特征都会进入到一个金字塔池化层（详见PSPNet），提取到四个不同大小的特征，这四个特征会在网络自上而下的支路中整合到一起。
损失函数由两部分组成，一个是显著性检测的交叉熵损失Lc，一个是边界预测的交叉熵损失。至于边界的标签由拉普拉斯算子获得。
2020.11.21工作总结（RGB-T显著性检测ADFNet）
标签：tee spn 注意力 alien 部分 权重 工作 obj 图片
原文地址：https://www.cnblogs.com/dotaball/p/14017770.html
