（GAN）的应用非常广泛，近年来，对GAN的研究也越来越多，成为深度学习中最为活跃的领域之一。

我在本文中对GAN网络的主要应用进行详细梳理，共总结出近20种应用，给出了代表性论文。

Ian Goodfellow等人在原始论文中描述了生成新的可信样本的应用。在2014年的论文“ Generative Adversarial Networks ”中，使用GAN为MNIST手写数字数据集，CIFAR-10小物体照片数据集和Toronto Face数据库生成了新的合理示例。

用于生成图像数据集新示例的GAN实例（Generative Adversarial Nets, 2014）

Alec Radford等人在2015年发表的论文 “Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks”。使用DCGAN实现大规模训练稳定的GAN。他们演示了用于生成卧室新示例的模型。

GAN生成的卧室照片示例（Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, 2015.）

安德鲁·布洛克（Andrew Brock）等。在他们的2018年题为“Large Scale GAN Training for High Fidelity Natural Image Synthesis用于高保真自然图像合成的大规模GAN训练”的论文中，展示了使用BigGAN技术生成的合成照片与实际照片几乎没有区别。

使用BigGAN生成逼真的图片（BigGAN Taken from Large Scale GAN Training for High Fidelity Natural Image Synthesis, 2018.）

Yanghua Jin等在其2017年题为“Towards the Automatic Anime Characters Creation with Generative Adversarial Networks通过对抗性网络实现自动动画角色创建”的论文中，展示了GAN用于生成动漫角色（即日本漫画人物）面孔的训练和使用方法。

GAN生成的动漫角色面孔的示例（Towards the Automatic Anime Characters Creation with Generative Adversarial Networks, 2017.）

受动画示例的启发，许多人尝试生成Pokemon角色，例如pokeGAN项目和“Generate Pokemon with DCGAN project”，但效果有限。

GAN生成的Pokemon角色示例。取自pokeGAN项目。

Tero Karras等在其2017年题为“Progressive Growing of GANs for Improved Quality, Stability, and Variation”的论文中，展示了真实逼真的人脸照片的生成。

该结果引起了媒体的广泛关注。这些脸部都接受过名人实例的培训，这意味着生成的脸部中包含了现有名人的元素，这使他们看起来很熟悉，但不太熟悉。

真实感GAN生成面孔的示例（Progressive Growing of GANs for Improved Quality, Stability, and Variation, 2017.）

他们的方法还用于物体和场景的生成。

逼真的GAN生成的对象和场景示例（Progressive Growing of GANs for Improved Quality, Stability, and Variation, 2017.）

随着GAN的发展，现在的GAN已经可以生成非常逼真的人脸图片，下图可以看到2014年到2017年的进展：

Grigory Antipov等在2017年发表的题为“Face Aging With Conditional Generative Adversarial Networks使用条件式生成对抗网络进行人脸衰老”的论文中，使用GAN生成了不同年龄（从年轻到老年人）的面孔照片。

用不同表观年龄的GAN生成的面孔照片示例（Face Aging With Conditional Generative Adversarial Networks, 2017.）

Zhang Zhifei在其2017年题为“Age Progression/Regression by Conditional Adversarial Autoencoder有条件对抗自动编码器的年龄发展/回归”的论文中，使用了基于GAN的方法来de-aging脸部照片。

使用条件对抗自动编码器使用GAN对年龄变化/回归拍摄的人脸照片进行年龄划分（Age Progression/Regression by Conditional Adversarial Autoencoder, 2017.）

Rui Huang等在其2017年题为“Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis超越面部旋转：用于真实感和身份保存正面视图合成的全局和局部感知GAN”中，展示了GAN用于生成人脸的正面视图（即，面部在正面）的照片，并提供了一定角度的照片。这个想法是，生成的正面照片可以用作面部验证或面部识别系统的输入。

基于GAN的人脸正面视图照片生成示例（Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis, 2017.）

Liqian Ma等在2017年发表的题为“ Pose Guided Person Image Generation ”的论文提供了一个示例，以新的姿势生成人体模型的新照片。

GAN生成的人类姿势照片示例（Pose Guided Person Image Generation, 2017.）

Carl Vondrick等在其2016年题为“Generating Videos with Scene Dynamics使用场景动态生成视频”的论文中，描述了将GAN用于视频预测，特别是成功预测了多达一秒的视频帧，主要是针对场景的静态元素。

用GAN生成的视频帧示例（Generating Videos with Scene Dynamics, 2016.）

Jiajun Wu等在其2016年题为“Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling通过3D生成-专家模型学习物体形状的概率潜在空间”中，展示了用于生成新的三维物体（例如3D模型）的GAN，例如椅子，汽车，沙发和桌子。

GAN生成的三维对象的示例(Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling)

Matheus Gadelha等人在其2016年题为“3D Shape Induction from 2D Views of Multiple Objects从多个对象的2D视图中进行3D形状归纳”的论文中，使用GAN生成了三维模型，并从多个角度给出了对象的二维图片。

二维图像对椅子进行三维重构的示例（3D Shape Induction from 2D Views of Multiple Objects, 2016.）

对于那些提出可以执行许多图像翻译任务的GAN的论文来说，这是一项包罗万象的任务。

Phillip Isola等在其2016年题为“Image-to-Image Translation with Conditional Adversarial Networks使用条件对抗网络进行图像到图像转换”的论文中，展示了GAN，特别是他们的pix2pix方法用于许多图像到图像转换任务。

示例包括翻译任务，例如：

使用pix2pix拍摄白天城市景观到夜间的照片示例（Image-to-Image Translation with Conditional Adversarial Networks, 2016.）

使用pix2pix为照片着色的草图示例（Image-to-Image Translation with Conditional Adversarial Networks, 2016.）

Jun-Yan Zhu在其2017年的论文“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks使用循环一致的对抗网络进行不成对的图像到图像翻译”中，介绍了他们著名的CycleGAN和一套非常令人印象深刻的图像到图像翻译示例。

下面的示例演示了四种图像转换情况：

使用CycleGAN进行的四次使用CycleGAN进行的图像到图像翻译（Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks, 2017.）

本文还提供了许多其他示例，例如：

使用CycleGAN从绘画到照片的翻译示例（Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks, 2017.）

Han Zhang等在其2016年题为“StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks StackGAN：具有堆叠式生成对抗网络的文本到照片般逼真的图像合成”的论文中，展示了GAN的使用，特别是他们的StackGAN从简单物体（如鸟和花）的文字描述中生成逼真的照片。

从StackGAN拍摄的鸟类的文字描述和GAN生成的照片（StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks, 2016.）

Scott Reed等人在2016年发表的题为“Generative Adversarial Text to Image Synthesis 生成图像的对抗性文本生成”的论文中，还提供了早期文本示例，用于生成小物体和场景（包括鸟，花等）的图像。

文字描述示例和GAN生成的花鸟照片（Generative Adversarial Text to Image Synthesis.）

Ayushman Dash等在他们2017年题为“TAC-GAN – Text Conditioned Auxiliary Classifier Generative Adversarial Network TAC-GAN –文本条件辅助分类器生成对抗网络”的论文中，提供了看似相同的数据集的更多示例。

Scott Reed等人在2016年题为“Learning What and Where to Draw 学习在何处绘制内容”的论文中扩展了此功能，并使用GAN从文本生成图像，并使用边界框和关键点作为在何处绘制所描述的对象（如鸟）的提示。

使用GAN从文本和位置提示生成的对象照片示例（Learning What and Where to Draw, 2016.）

Ting-Chun Wang等在2017年题为“High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs具有条件GAN的高分辨率图像合成和语义操纵”的论文中，演示了使用条件GAN生成给定语义图像或草图作为输入的逼真的图像。

语义图像和GAN生成的城市景观照片示例（High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs, 2017.）

具体示例包括：

他们还演示了用于处理生成的图像的交互式编辑器。

Yaniv Taigman等在2016年题为“Unsupervised Cross-Domain Image Generation无监督跨域图像生成”的论文中，使用GAN将图像从一个域转换为另一个域，包括从街道编号到MNIST手写数字，以及从名人照片到他们所谓的表情符号或卡通小脸。

名人照片和GAN生成的表情符号示例（Unsupervised Cross-Domain Image Generation, 2016.）

Yoonggeun Yoo等在2016年题为“Pixel-Level Domain Transfer像素级域转移”的论文中，展示了GAN用来生成衣服的照片的方法，可以在目录或在线商店中根据穿着衣服的模特的照片进行查看。

输入照片示例和GAN生成的服装照片（Pixel-Level Domain Transfer, 2016.）

Guim Perarnau等在2016年题为“Invertible Conditional GANs For Image Editing 用于图像编辑的可逆条件GAN”的论文中，使用GAN（特别是其IcGAN）来重构具有特定指定特征（例如，头发颜色，样式，面部表情甚至性别的变化）的面部照片。

使用IcGAN进行人脸照片编辑的示例（Invertible Conditional GANs For Image Editing, 2016.）

Ming-Yu Liu等在2016年发表的题为“ Couple Generative Adversarial Networks ”的论文还探讨了具有特定属性（例如染发，面部表情和眼镜）的面部表情。他们还探索其他图像的生成，例如具有不同颜色和深度的场景。

用于生成带或不带金发的人脸的GAN示例（Coupled Generative Adversarial Networks, 2016.）

安德鲁·布洛克（Andrew Brock）等在2016年题为“Neural Photo Editing with Introspective Adversarial Networks 使用自省对抗网络进行神经图片编辑”的论文中，提出了使用变式自动编码器和GAN混合的面部图片编辑器。该编辑器允许对人脸进行快速逼真的修改，包括更改头发颜色，发型，面部表情，姿势和添加面部头发。

使用基于VAE和GAN的神经图片编辑器进行人脸编辑的示例（Neural Photo Editing with Introspective Adversarial Networks, 2016.）

He Zhang等在2017年题为“Image De-raining Using a Conditional Generative Adversarial Network使用条件生成对抗网络进行图像除雨”的论文中，将GAN用于图像编辑，包括从照片中去除雨雪的示例。

使用GAN去除条件下产生的图像的雨水的示例（ Image De-raining Using a Conditional Generative Adversarial Network）

Wu Huikai等在2017年题为“ GP-GAN: Towards Realistic High-Resolution Image BlendingGP-GAN：迈向逼真的高分辨率图像融合”的论文中，展示了GAN在融合照片中的使用，特别是来自野外，山脉和其他大型结构等不同照片中的元素。

基于GAN的照片融合示例（GP-GAN: Towards Realistic High-Resolution Image Blending, 2017.）

克里斯蒂安·勒迪格（Christian Ledig）等在其2016年题为“Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network 使用对抗性网络的逼真的单图像超分辨率”的论文中，展示了GAN的使用，特别是他们的SRGAN模型，可生成具有更高，有时甚至更高像素分辨率的输出图像。

具有超分辨率的GAN生成图像的示例（Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network, 2016.）

Huang Bin等在2017年论文中倾斜了“High-Quality Face Image SR Using Conditional Generative Adversarial Networks 使用条件生成对抗网络的高质量人脸图像SR ”，使用GAN来创建人脸照片的版本。

使用条件生成对抗网络从高质量人脸图像SR提取高分辨率生成的人脸示例（High-Quality Face Image SR Using Conditional Generative Adversarial Networks, 2017.）

Subeesh Vasu等在2018年论文“Analyzing Perception-Distortion Tradeoff using Enhanced Perceptual Super-resolution Network 使用增强型感知超分辨率网络分析感知-失真权衡”，提供了GAN的示例，该GAN可以创建高分辨率照片，重点关注街道场景。

GAN生成的高分辨率建筑物照片示例（Analyzing Perception-Distortion Tradeoff using Enhanced Perceptual Super-resolution Network, 2018.）

Deepak Pathak等在2016年题为“Context Encoders: Feature Learning by Inpainting”的论文中，描述了GAN（特别是上下文编码器）的使用，以执行照片修复或孔填充，即填充由于某种原因而被删除的照片区域。

使用Context Encoders生成GAN的照片修复示例（Context Encoders: Feature Learning by Inpainting describe the use of GANs, specifically Context Encoders, 2016.）

Raymond A. Yeh等。在其2016年题为“Semantic Image Inpainting with Deep Generative Model 具有深度生成模型的语义图像修复”的论文中，使用GAN填充和修复了故意损坏的人脸照片。

基于GAN的人脸照片修复实例（Semantic Image Inpainting with Deep Generative Models, 2016.）

Yijun Li等在2017年题为“ Generative Face Completion ”的论文中，还使用GAN修补和重建了受损的人脸照片。

GAN重建的面部照片示例（FacesTaken from Generative Face Completion, 2017.）