基于风格化对抗自编码器的图像生成算法

基于风格化对抗自编码器的图像生成算法

孙力军，李潘

（成都理工大学，四川成都610059）

摘要：在本论文中提出了一种用于自动图像生成的基于自编码器的生成对抗网络（GAN），我们称之为“风格化对抗式自编码器”。不同于已有的生成式自编码器（通常会在隐向量上施加一个先验分布），我们提出的方法是将隐变量分成两个分量：风格特征和内容特征，这两个分量都是根据真实图像编码的。这种隐向量的划分让我们可以通过选择不同的示例图像来任意调整所生成图像的内容和风格。此外这个GAN网络中还采用了一个多类分类器来作为鉴别器，这能使生成的图像更具真实感。结果表明风格化对抗式自编码器能显著改善对应的监督识别任务。

关键词：GAN；自编码器；模型

1引言

生成式自然图像建模是计算机视觉和机器学习领域的一个基本研究问题。早期的研究更关注生成网络建模的统计原理，但由于缺乏有效的特征表征方法，相应结果都局限于某些特定的模式。深度神经网络已经展现出了在学习表征方面的显著优势，并且已经被证明可有效应用于鉴别式视觉任务（比如图像分类和目标检测），与贝叶斯推理或对抗训练一起催生出了一系列深度生成模型。我们在本论文中提出了一种名为风格化对抗式自编码器（SAAE）的全新生成模型，该模型是使用一种对抗式来训练风格化自编码器。内容特征和风格特征都是根据示例图像编码的，并且不会在隐变量的分布上使用任何先验假设。带有给定内容和风格的目标图像可以根据组合起来的隐变量解码得到，这意味着我们可以通过选择不同的示例内容和/或风格图像来调整输出图像。

2风格化对抗式自编码器

生成网络由两个编码器（Enc和Ens）和一个解码器（Dec）构成。其中Enc将内容图像编码成内容隐含表征或特征z_c，Ens将风格图像编码成风格隐含表征或特征z_s。Dec解码组合后的隐含表征并得到输出图像。为了方便起见，我们使用生成器G表示Enc、Ens和Dec的组合。

已有GAN中的鉴别器的输出是表示该输出x是真实图像的概率y=Dis(x)∈[0,1]。而鉴别器D的训练目标是最小化二元交叉熵：L_{dis}=−log(Dis(x))−log(1−Dis(G(z)))。G的目标是生成D无法将其与真实图像区分开的图像，即最大化Ldis。我们提出的生成网络包含两个特征提取网络流程，之后再跟上一个生成网络。内容特征提取器和风格特征提取器都有三个无下采样的卷积层，这样能尽可能多地保留示例图像的细节信息。输入的风格图像和内容图像可能有不同的尺寸。

3实验

我们使用了评估了我们的方法：为监督识别任务生成训练数据。深度神经网络（DNN）已经在监督学习方面表现出了显著的优越性，但它却依赖于大规模有标注训练数据。在小规模训练数据上，深度模型很容易过拟合。我们还使用SAAE模型为识别中国汽车牌照任务生成了训练数据。我们通过测量在DR-PLATE数据集上的识别准确度而对数据生成的质量进行了评估。根据实验表明加入到训练数据集中的生成数据越多，模型收敛得越慢，但分类准确度却越来越好。这个结果表明我们的SAAE模型能够通过生成数据提升监督学习的表现。

4结论

我们提出了一种全新的深度自编码器网络，它可以分别编码来自两个示例图像的内容特征和风格特征并根据这两个特征解码得到新图像。使用了多类分类器作为鉴别器，这能更好地建模生成的图像的变化情况，并能有效地迫使生成网络生成更具真实感的结果。我们开发了一种三步式训练策略，以确保我们提出的风格化对抗式自编码器的收敛。

参考文献

[1]IanGoodfellow,JeanPouget-Abadie,MehdiMirza,BingXu,DavidWarde-Farley,SherjilOzair,AaronCourville,andYoshuaBengio.2014.Generativeadversarialnets.InAdvancesinNeuralInformationProcessingSystems.2672–2680.

[2]AndersBoesenLindboLarsen,SørenKaaeSønderby,andOleWinther.2015.Autoencodingbeyondpixelsusingalearnedsimilaritymetric.arXivpreprintarXiv:1512.09300(2015).

[3]ShaoqingRen,KaimingHe,RossGirshick,andJianSun.2015.FasterR-CNN:Towardsreal-timeobjectdetectionwithregionproposalnetworks.InAdvancesinneuralinformationprocessingsystems.91–99..