标签：概览   人工   网络学习   lol   inline   format   难度   网络   论文   

用于改进任意风格迁移的归一化损失

本文为 Style-Aware Normalized Loss for Improving Arbitrary Style Transfer 的概览导读

概述

现有的任意风格迁移(Arbitrary Style Transfer—AST)方法：

1. Magenta – Google Research ?
2. AdaIN 基于模型迭代的方法
3. LinearTransfer 通过前馈神经网络学习获得一个风格转移矩阵 learns the transformation matrix with a feed-forward network
4. SANet 基于模型迭代的方法

问题：

① 欠风格化（Under-Stylization）+ ② 过风格化（Over-Stylization）= 风格化不平衡 （imbalanced style transferability —— IST）

原因：

训练样例中不同风格迁移难度不一

解决方法：

风格认知归一化损失

发掘问题

本文改进的损失函数是传统的 NST (Neural Style Transfer) Loss

分为内容损失函数和风格损失函数两个部分

其中 \(C\) 为内容图，\(S\) 为风格图，\(P\) 为生成图，\(\mathcal{F}\) 为 VGG 网络的特征输出，\(\mathcal{G}\) 为格拉姆矩阵；即基于图像迭代的风格迁移方法最基本的损失函数，本文使用其来训练其他模型

实验一 \(\mathcal{L}_{s}\) 分布

上图为针对四种模型，风格损失的分布，得到以下两点：

1. 不同模型 \(\mathcal{L}_{s}\) 分布相似
2. \(\mathcal{L}_{s}\) 不能反映风格化的程度，与直觉相反，\(\mathcal{L}_{s}\) 高反而过风格化

实验二 \(\mathcal{L}_{s}\) VS 人工评价

\(\mathcal{L}_{s}\) 越大，人工评价反而越好

如果将人工评价定义为三个等级 GOOD(-1)，OK(0)，BAD(1)，则如下表数据，人工评价和 \(\mathcal{L}_{s}\) 是负相关

探讨原因

在以 Batch 为单位的训练中，如下式

由于不同风格的迁移难度不同（在格拉姆矩阵的评价指标下），换言之实际风格迁移效果与 \(\mathcal{L}_s\) 不匹配，不同风格的 \(\mathcal{L}_{s}\) 相差上千倍，经过平均后，大的 \(\mathcal{L}_{s}\) 比重太大，导致只针对这些风格迭代模型，使得 \(\mathcal{L}_s\) 高的风格过风格化， \(\mathcal{L}_s\) 低的风格欠风格化

改进方法

原文作者使用了一个简单的归一化方法，将 \(\mathcal{L}_{s}\) 除以其上限，如下式

其中，\(sup\{\mathcal{L}_{s}(S,P)\}\) 为的上限，如下式

效果预期

一个简单的改进，直接逆转了原本损失函数的缺陷

该分布图为原本模型使用归一化风格损失输出的结果，可见大的 \(\hat{\mathcal{L}}_{s}\) 对应欠风格化的图片，小的 \(\hat{\mathcal{L}}_{s}\) 对应过风格化的图片，可以预见使用该函数训练模型将纠正风格化不平衡的问题，具体效果可见原论文，明显到让人不禁怀疑是挑选过的数据

人工评价也和 \(\hat{\mathcal{L}}_{s}\) 是正相关的关系

Read Paper：用于改进任意风格迁移的归一化损失

标签：概览   人工   网络学习   lol   inline   format   难度   网络   论文   

原文地址：https://www.cnblogs.com/HonorWithPupil/p/14928167.html