码迷,mamicode.com
首页 > 其他好文 > 详细

deep learning-based classification of illumination maps for exposing face splicing forgeries in images

时间:2020-04-27 09:31:05      阅读:64      评论:0      收藏:0      [点我收藏+]

标签:sla   获得   matlab   maps   创建   pix   gray   star   http   

出处 :2019ICIP

作者: 技术图片

摘要 : 提出一个检测人脸图像拼接的深度网络。把输入图像转换为illumination map (IM),然后比较面部区域的 pairs 来检测拼接篡改。先在外部的训练集上训练孪生网络来区分来自相似或不同光照环境illumination environments (IEs)的pairs。训练好后,一支网络用来提取测试图像的特征。拼接一对特征,SVM进行分类。本文方法的优点是能够学习不同IE下有区分力的特征

数据集 DSO-1 [6]:包含100个真实的和100个拼接的高分辨率图像,其中包含人类群体肖像

DSI-1 [6]:DSI-1数据集包含25张来自互联网的真实图像和25张拼接图像

实验环境 Python 3.6,Keras 2.2.4 [16], Matlab 2017b on a Tesla K20c GPU with 5 GB RAM.

metrics detection accuracies

2 method

2.1 Image Representation and Face Extraction

输入图像分割成相似的区域(superpixels),从每个超像素估计光照颜色,然后recolor 超像素,创建IM。(IM是中间表示,压缩表层信息,增强光照颜色信息)IM 中的拼接部分更加明显,手工提取IM里的面部部分

有两种光照评估方法

  1. 基于统计的方法[10] [11],在假设图像像素分布的前提下,从图像中估计光源的颜色。

  2. 基于物理的方法[12] [13] [14]

  3. 本文使用 generalized gray edge (GGE) method [10],这是基于这样一种假设,即在白色光源的照射下,场景中的平均反射率差是achromatic(消色差的),光照颜色e计算如下

技术图片

\(f^\sigma\) 是图像X位置使用(标准差\(\sigma\))高斯平滑后的像素密度,\(\frac{\partial}{\partial_x}\) 是偏导数,|·|是范数,n 是阶数,k 是常数项,p 是Minkowskin norm P范数

  1. 本文使用 the modified inverse-intensity chromaticity (IIC) [5],该方法基于Tan等人提出的原始IIC方法[14],其中对光源的估计如下:

    技术图片

    \(f_c(x)\) 是每个滤色器\(c\in{R,G,B}\)在x像素位置的传感器响应,\(\chi_c(x)\) 是图像的色度,\(\Gamma_c(x)\) 是镜面或光源的色度,\(p_c(x)\) 是依赖于曲面几何的参数,扩散色度和高光色度

2.2 Face-IM Pair Classification for Splicing Detection

把 pairs of face-IMs 输入 siamese network(参数共享),预测 the class-label of the pairs。 使用 SVM 进行分类。authentic pair 是来自同一 IE 的 face-IMs pair(有相同的特征),spliced pair 指来自不同 IE 的 pair。

技术图片

如果一副图像有N个face,那么有N(N-1)个 face pairs,如果至少有一个脸对是拼接的吗,那这副图像是拼接的。

2.2.1 Siamese Network for Learning Features

使用[9]的孪生网络,共享权重保证从两个输入中获得相同的特征集。

CNN 计算出输入对的特征 \(f_1\)\(f_2\),distance layer 计算 \(f_1\)\(f_2\)的 L1 距离,然后全连接 sigmoid neuron layer 预测输入对的类别,预测p计算如下 技术图片\(\alpha_j\)是全连接层的可调参数,表示距离的每个分量的重要性。使用 the cross-entropy loss。

图2是CNN的结构,

技术图片

由于没有现成的人脸拼接数据集,我们在真实图像上人工生成一些拼接对。然后创建IMs,使用真实对和拼接对训练。经过训练,其中一个孪生CNNs被用来从真实拼接图像中出现的面部IMs中提取特征。我们没有利用整个孪生网络来对真正的拼接脸进行分类。

2.2.2 Splicing Detection

从图像中提取特征向量后,对其进行两两分类,以检测拼接的真伪。
如果在一个输入图像中有N个face,我们通过连接pair的每个face的特征来创建N(N 1)/2个联合特征。使用这些联合特征训练SVM,然后对测试图像中的face-IMs pairs 进行分类。

3. experiments

3.1 Training the siamese network

收集了6660个图像,每幅图像里有2-10个人,提取面部部分。真实pais是从同一个图像创建的脸对,拼接pair是从不同的图像随机选择的面部对。创建了57024个真实对,1103160个拼接对

使用了三种表达来训练网络 GGE method、IIC method、原始图像。

3.2 Splicing Detection

1.使用GGE-IMs方法训练的CNN,从 GGE method、IIC method、原始face提取特征

2.使用IIC-IMs方法训练的CNN,从 GGE method、IIC method、原始face提取特征

技术图片

对比方法

Carvalho et al.[6], [7] and Pomari et al. [8]

如表2

技术图片

结论

本文提出了一种基于深度学习的人脸特征提取方法,用于检测人脸拼接的伪造特征。
该方法首先训练一个孪生CNN来区分来自同一幅图像的脸对和来自两个随机图像的脸对。
一旦网络被训练,其中一个孪生CNNs被用来从测试图像的面部ims中提取特征。
采用支持向量机对实验图像中真实拼接的人脸进行分类。
我们对不同类型的IM计算方法进行了实验,发现IIC方法是其中表现最好的

deep learning-based classification of illumination maps for exposing face splicing forgeries in images

标签:sla   获得   matlab   maps   创建   pix   gray   star   http   

原文地址:https://www.cnblogs.com/qina/p/12784380.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!