标签：引入 nta not 对象 概率 ble nbsp pascal 图像特征
Weakly-Supervised Semantic Segmentation Network with Deep Seeded Region Growing---CVPR2018
这篇来自华科的文章指明它有别于之前的一些弱监督图像语义分割之处，那就是作者不再使用大多数方法的网络所采用的固定不变或者静态的标签作为监督信息，而是使用图片的上下文信息。这篇文章在Pascal voc 2012上的MIoU达到了63.2%。目前来说，性能极好了。
This paper is available at:
http://www.xinggangw.info/pubs/cvpr18-dsrg.pdf
Codes is available at:
https://github.com/speedinghzl/DSRG
WSSS---Weakly Supervised Semantic Segmentation
关于WSSS，当下的发展瓶颈在于：
Hard to obtain precision boundaries;
Does not work well in complex dataset,e.g.,COCO and Kitti
Abstract
作者指出，受“seeded region growing”这一传统图像分割算法启发，本文提出了一种新的网络模型，即从判别区域开始训练出一个语义分割网络，并且通过采用“seeded region growing（种子区区增长）”方法进一步增加像素级别的监督信息。其中，seeded region growing模型和一个深度分割网络融合在一起，并且可以从深层特征中获益。不同于其他深度网络，其他传统深度网络模型都采用的固定或者静态的标注信息，本文提出的弱监督网络模型利用一副图片中含有的上下文信息生成新的标签信息，这是一个动态的过程。
扩展：seeded region growing---种子区域增长算法
区域生长算法的基本思想是将有相似性质的像素点合并到一起。对每一个区域要先指定一个种子点作为生长的起点，然后将种子点周围领域的像素点和种子点进行对比，将具有相似性质的点合并起来继续向外生长，直到没有满足条件的像素被包括进来为止。这样一个区域的生长就完成了。算法细节请仔细学习。
1 Introduction
图1
如图1所示，the DSRG approach可以逐步丰富分割网络的监督信息。
2 Related work
2.1 PIxel labeling from image level supervision
2.2 Seeded Region Growing（SRG）
文章指出，当我们做基于种子区域生长算法的图像分割时，有两个关注点需要处理：
（1）初始种子应该放在图像中的哪个位置？
（2）应采用哪种相似性准则来表征图像区域？
3 Approach
这一节详细介绍本文方法。首先介绍从深度分类网络来生成种子线索；然后介绍一个平衡的种子损失函数，该函数使用种子线索作为监督信息；最后，为解决种子线索小而稀疏的问题，本文提出了DSRG训练方法。
3.1 Seed generation with classification network
以图像标签（图像标签不能为语义目标提供一个明确的位置信息）作为监督信息，利用深度分类网络定位判别区域，作为种子线索。
本文框架，利用CAM（Classification Activation Maps）方法来定位前景目标的类别。大致流程：
使用一个修正的VGG-16网络初始化分类网络；
第七层卷积层conv7使用全局平均池化（GAP）；
生成的张量用作图像表示，全连接层用于分类；
最后，全连接分类器应用于conv7，为每一个目标类别生成一个heatmap；
接着，通过应用一个heatmap的固定阈值来获得最终的判别区域目标。
除了前景目标的种子线索，作者也寻找背景区域的种子线索。作者使用显著性目标检测定位背景区域的种子线索。
3.2 Seeding loss
获得了种子线索之后，我们该怎么利用这个线索来训练图像语义分割网络呢？
这里提出了平衡种子损失（balanced seeding loss），以支持对分割网络的预测。它只匹配由分类网络给出的种子线索，而忽略图片中其他像素。
平衡种子损失定义如下：
其中，C---展示在图像中的物体类别的集合（不包括背景）；
C~---背景类别的集合；
Sc---类别c在图片中位置信息的集合。
Hu,c---分割图H中，位置u处属于类别c的概率。
还定义了一个边界损失了lboundary，以支持分割图与目标边界的匹配。
从而，最终的分割的可以根据以下损失函数来进行优化：
3.3 Deep seeded region growing
重点来了。
作者指出前面介绍的种子损失是比较稀疏的。实际上，只有40%的像素具有标签信息，而且对于深度网络的训练，传统设置往往固定这些标签信息。
所以，作者提出了对于不包含标签信息的像素，使用种子区域增长方法，来使得作为监督信息的标签变得丰富密集，这样就可以训练出一个更好的分割网络。
种子线索增长的前提条件是在图像中存在小的均匀区域，这些均匀区域中的像素应该具有相同的标记信息。
为了实现种子线索增长，引入了种子区域增长这一传统算法（SRG）。
In SRG，种子像素的初始化，基于简单的人工选择，它依据颜色，密度，纹理这些信息。一旦指定初始种子信息，下一步就是获得或者生长出一片均匀的图片区域。例如，它试图将图像分割成每个连通分量恰好包含一个初始种子的属性的区域。
以此，提出将SRG融合进深度分割网络中，来实现弱监督语义分割任务。
分类网络初始化种子---利用区域相似性准则，在毗邻的未被标注的像素点中开始种子区域生长。
相似性准则定义：候选像素是否应该合并到特定区域中。
那么，接下来需要处理的问题就是：
我们该采用何种相似性准则来表征图像区域？
下面将详细说明：
这里我们制定的相似性标准P是由分割网络生成的分割图H中的像素的简单概率阈值。
Hu,c---分割图H中，位置u处属于类别c的概率；
θ---概率阈值。
在实际应用中，前景类别共享同一概率阈值θf，同理，前景类别共享同一概率阈值θb。
传统种子区域增长算法存在一个过度分割的问题，原因在于低级图像特征对于对象的类间表示不够鲁棒。而本文提出的DSRG动态生成的高级图像特征可以克服这一问题，因此也不会过度分割。
至此，可以将分割图H与种子线索S作为输入，来正式进行区域生长了。请看具体算法步骤，建议通过运行作者开源代码分析，加深理解运用：
2018年发表论文阅读：Weakly-Supervised Semantic Segmentation Network with Deep Seeded Region Growing
标签：引入 nta not 对象 概率 ble nbsp pascal 图像特征
原文地址：https://www.cnblogs.com/ariel-dreamland/p/9783539.html
