码迷,mamicode.com
首页 > 编程语言 > 详细

图像检索算法

时间:2019-03-25 20:30:53      阅读:505      评论:0      收藏:0      [点我收藏+]

标签:怎么   style   fas   mamicode   模型   获取   brief   权重   state   

图像检索:是从一堆图片中找到与待匹配的图像相似的图片,就是以图找图。

看了两篇文章:

Large-Scale Image Retrieval with Attentive Deep Local Features   https://arxiv.org/pdf/1612.06321v4.pdf

Aggregated Deep Local Features for Remote SensingImage Retrieval  https://arxiv.org/pdf/1903.09469.pdf

 

这两片都是讲了用使用注意力机制提取CNN局部特征描述子,进行图像检索的方法。第一篇是原创,第二篇是将其应用到遥感图像检索。

图片检索可以分为两个问题: 第一图像级别的描述子的建立,第二搜索匹配的描述子。这两篇文章主要关注,第一个问题,第二个问题没有深入。

论文一:

作者先是说了以往的研究都是在小尺度数据集上的得到的。作者的提出了一种基于CNN的特征描述子,用于大规模数据检索。

这篇文章的特点就是:使用注意力机制帮助获取特征点,用特征点相应位置卷积层的通道方向的特征,作为该特征点的描述子。

1、使用了一种弱监督学习方法,只有图像级的标签用于训练;

2、加入了一个注意力模型,使用注意力机制,找到局部关键点,将该点的cnn通道方向的特征作为描述子

 

作者制作了个大型(large scale)数据集,然后建立检索系统:1. 密集局部特征提取 2. 关键点选择 3. 降维 4. 索引和检索

1.密集局部特征提取

使用了Resnet50的预训练模型,去掉头,换上自己的头,微调。把conv4的输出作为特征,conv4里每个像素在原图像的视场的位置就是特征点的位置。

这一步比较常规,现在普遍认为卷积层就是起特征提取的feature extractor。

这样卷积层是特征,从这么多的位置里选择出代表性的特征。作者比较新的提出了以下的关键点选择方法:

2. 基于注意力机制的关键点选择

如果直接使用cnn层作为特征直接进行匹配的话,描述子的维度太高,检索太慢。因此有必要,从特征图里选择出来一些关键点。

在普通的匹配里有一些:sift,surf,FAST,Brief等特征点和描述子。

CNN已经提取好特征了,我们需要在特征图上选择出一些。

这时候作者把训练好的网络参数固定,新建一个2层的卷积网络,这个两层的网络的输入就是conv4的输出,输出就是和conv4大小相同的1通道的权重图,这个权重图里就是每个conv4特征的权重。

注意力就关注到这地方了。

这里的训练分两步,不能同时训练,先训练1,训练完了再训练2中的注意力模型。

这个和普通的方法区别是:他是先计算特征描述子,再选择特征点

特征点选择多少个论文没有说,好奇,只能看代码了。

3.降维

因为没有说,一副图像选择多少个特征点。

只是说把这些特征点对应的conv4的通道数构成的描述子,先L2归一化,再用PCA降维到40维,降完之后再归一化

4. 索引和检索

基于最近邻的搜索技术,kd-tree,PQ.

当然基于距离最小的方法全部招呼上来。

实验部分:

这部分说了前面的疑问,每个图像提取1000个关键点(根据注意力机制里概率的大小),每个特征点40维。使用k最近邻匹配 k=60。

怎么匹配的呢,对1000个关键点,每个进行匹配,选择前60个最匹配的,60个匹配结果里统计类别分布,选择最高的,就是这个关键点对应的图像。

至于1000个关键点怎么弄一个个弄?还是每个集成起来?

 

 

对比方法:

Deep Image Retrieval(DIR)  全局2048维的描述子,也就是说一副图像一个描述子维度是2048维。使用QE 最近邻.

QE 方法见:http://yongyuan.name/blog/cbir-query-expansion.html

算是最近邻方法的一个小技巧。

 siaMac 与上方法类似,也是一种全局描述子512维度,使用的是VGG处理过的。

LIFT 这个比较有意思的是用SIFT产生的特征点特征向量,监督CNN学习的的结果,然后取代 SIFT (众所周知SIFT速度慢,不知道CNN学习后速度快了没有,没看原论文)

 

 论文2:

这篇论文的选题好,关注遥感图像。 遥感图像有个好处就是拍摄的角度高,基本处于90%。遥感图像自带分辨率,尺度因素不用考虑(这些强的先验知识,可以极大的减轻网络负担和匹配负担)

所以改了改,用到遥感数据上效果就遥感图像最优了(state-of-the-art)

这篇论文思路清晰,过程说的明白,就是网络使用的是论文1的网络,刚开始不明白,所以反过去看了论文1。

 

开篇就点题了:基于内容的图像检索主要包括两个步骤:

图像的描述特征提取,图像匹配

明天继续。。

 

 

觉得有用,拿出手机领个红包,收你1毛1。

技术图片技术图片

每天看一论文。

日有所勤,业有所精

图像检索算法

标签:怎么   style   fas   mamicode   模型   获取   brief   权重   state   

原文地址:https://www.cnblogs.com/yjphhw/p/10596371.html

(1)
(1)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!