Pytorch 使用DCGAN实现二次元人物头像生成（实现代码+公式推导）

  本篇文章主要是关于李宏毅教授授课视频中的作业进行介绍，小白博主所作工作只是将现有的知识内容结合网路上一些优秀作者的总结以博文的形式加上自己的理解复述一遍。本文主要还是我的学习总结，因为网上的一些知识分布比较零散故作整理叙述。如果有不对的地方，还请帮忙指正，如有出现禁止转载的图片，文字内容请联系我修改。   相关参考:     李宏毅2020机器学习深度学习(完整版)国语：链接: link.

  何之源:GAN学习指南：从原理入门到制作生成Demo链接: link

   张先生-您好.Pytorch实现GAN 生成动漫头像 链接: link.

  Dean0Winchester.深度学习—图像卷积与反卷积（最完美的解释）链接: link.

  生成对抗网络（ G A N GAN GAN, G e n e r a t i v e A d v e r s a r i a l N e t w o r k s Generative Adversarial Networks GenerativeAdversarialNetworks ）是深度学习中一种无监督（即不需要给样本数据打标签）的学习方法， G A N GAN GAN的核心思想源自博弈论中的纳什均衡，博弈的双方分别是 G e n e r a t o Generato Generator（负责生成图片的生成器 G G G）和 D i s c r i m i n a t o r Discriminator Discriminator（负责判断图片真假的判别器 D D D）。 D D D的目的在于揪出由 G G G “伪造”的“假”图片给它打低分， G G G的目的在于尽最大可能地模仿真图片从而“欺骗” D D D获取高分。

  参与这场游戏双方再不断地较量中完成自身地优化，从而实现了各自判别能力和生成能力的提升，直到双方达到一种动态的平衡。      如上图所示，蝴蝶扮演 G A N GAN GAN中的生成器，而波波鸟则扮演判别器，蝴蝶为了逃避波波鸟（判别器）的捕食（识别）需要不断的朝着树叶（真样本）进化，而波波鸟为了能够捕食（识别）出蝴蝶（用假样本伪装自己的生成器）也需要不断进化，比方说，最开始波波鸟理解的叶子（真样本）只停留在不是彩色这一层面上，随着训练，波波鸟的认知开始进化，从不是彩色转向棕色是叶子（真样本），而蝴蝶得到反馈之后为了继续欺骗波波鸟开始学会让生成的翅膀是棕色。      这个过程将反复进行下去，最后可以达到，波波鸟可以真正认出叶子，蝴蝶可以让生成的翅膀（假样本）与叶子（真样本）近乎一致为止。

算法总流程：

   G A N GAN GAN算法简单来说，就是固定生成器，训练判别器；然后固定训练好的判别器，再训练生成器的反复过程。

逐条解读算法流程：     首先初始化 D D D, G G G的参数，先固定生成器，进入判别器的学习过程。       判别器学习过程

采样 ：从数据集中抽样出 m m m张样本，同时借助某种分布（通常使用正态分布）生成 m m m个 n n n维噪声样本。

获取假样本：将噪声样本作为输入，得到生成器输出的假样本。

判别器D的目标函数 ：直观上来看，我们要达到的目的，就是让判别器对生成器生成的假样本尽可能地严格，对数据集抽样出来的真样本尽可能地宽松，那么我们可以构建这样一个目标函数，让判别器给真样本尽可能高的分数，给假样本尽可能低的分数。               m a x D max_D maxD​ v ∗ v^* v∗ = 1 m \dfrac{1}{m} m1​ ∑ i = 1 m \sum_{i=1}^{m} ∑i=1m​ l o g log log( D D D( x i x^i xi)) + + + 1 m \dfrac{1}{m} m1​ ∑ i = 1 m \sum_{i=1}^{m} ∑i=1m​ l o g log log( D D D(1 − - − x ∗ i x*^i x∗i))      D D D( x x x)代表 x x x为真实图片的概率，如果为 1 1 1，就代表100%是真实的图片，而输出为 0 0 0，就代表不可能是真实的图片。代码实现中通常借由 s i g m o i d sigmoid sigmoid函数来表达     要让 l o g log log( D D D( x ∗ i x*^i x∗i))尽可能小，等效于让 l o g log log( D D D(1 − - − x ∗ i x*^i x∗i))尽可能大。以此为我们的目的函数进行求导做梯度上升（亦可加负号求 m i n min min做梯度下降）从而更新判别器参数。       生成器学习过程

噪声采样 ：借助同种分布（通常使用正态分布）生成另外 m m m个 n n n维噪声样本。

生成器G的目标函数：                              v ∗ v^* v∗ = 1 m \dfrac{1}{m} m1​ ∑ i = 1 m \sum_{i=1}^{m} ∑i=1m​ l o g log log( D D D( G G G( z i z^i zi)))     先直观的理解为什么要这样定义 G G G目标函数，根据之前的分析,要让生成器生成的图片足够接近真样本,那么就需要骗过判别器,从而我们可以让最大化生成图片在 D D D的打分为目标来引导我们的生成器完成参数迭代。      在最理想的状态下， G G G可以生成足以“以假乱真”的图片 G G G( z z z)。对于 D D D来说，它难以判定 G G G生成的图片究竟是不是真实的，因此 D D D( G G G( z z z)) = 0.5 0.5 0.5

  说了那么多,那么我们如何用一条数学语言来描述 G A N GAN GAN的核心原理呢?      G e n e r a t i v e A d v e r s a r i a l N e t w o r k s Generative Adversarial Networks GenerativeAdversarialNetworks 的作者 I a n Ian Ian G o o d f e l l o w Goodfellow Goodfellow大佬给出了答案:

分析这个公式:   1.整个式子由两项构成。 x x x表示真实图片， z z z表示输入 G G G网络的噪声，而 G G G( z z z)表示 G G G网络生成的图片。   2. D D D( x x x)表示 D D D网络判断真实图片是否真实的概率（因为 x x x就是真实的，所以对于 D D D来说，这个值越接近 1 1 1越好）。而 D D D( G G G( z z z))是 D D D网络判断 G G G生成的图片的是否真实的概率。   3. D D D的目的： D D D的能力越强， D D D( x x x)应该越大， D D D( G G G( x x x))应该越小。这时 V V V( D D D, G G G)会变大。因此式子对于 D D D来说是求最大( m a x max max D D D)   4. G G G的目的： 上面提到过， D D D( G G G( z z z))是 D D D网络判断 G G G生成的图片是否真实的概率， G G G应该希望自己生成的图片“越接近真实越好”。也就是说，(实际上,我们不是同时训练两者,当 D D D训练好时,第一项好样本的得分期望是定值), G G G希望 D D D( G G G( z z z))尽可能得大，那么 V V V( D D D, G G G)会变小。因此我们看到式子的最前面的记号是 m i n min min G G G。   5. 为什么是期望: 我们假设我们取出的样本的统计特性可以代表整个数据分布(包括数据集数据分布和 G G G生成器生成数据的分布),那么我们之前表示的均值可以近似等价于各自数据分布的期望。   我们可以用张形象的图来描述我们是如何选择我们的生成器和判别器的。        我们选取判别器的标准,是取 m a x max max V V V( D D D, G G G),那么对应到图片就是找到函数的最高点,在我们完成判别器的选取后(即找到函数最高点后),我们下一步的目标(更新生成器),就是找出 m i n min min m a x max max V V V( D D D, G G G)(此时 m a x max max V V V( D D D, G G G)即为红点),我们要做的就是选取红点中最低的,选出的 G i G_i Gi​即为我们想要的生成器。

   随机梯度下降法用于减少陷入局部最优的风险,，进而可以更接近全局最优的方法。    该怎么做，论文也给出了算法（不愧是大佬），本文代码使用的是 A d a m 优 化 算 法 Adam优化算法 Adam优化算法（利用”惯性“来跳出局部最优的方法），此处不做详细说明：   这里红框圈出的部分是我们要额外注意的。第一步我们训练 D D D， D D D是希望 V V V( G G G, D D D)越大越好，所以是加上梯度( a s c e n d i n g ascending ascending)。第二步训练 G G G时， V V V( G G G, D D D)越小越好，所以是减去梯度( d e s c e n d i n g descending descending)。整个训练过程交替进行。

    使用过 C N N CNN CNN的朋友一定不会对运用 C N N CNN CNN进行图像样本分类的方法感到陌生，我们很容易就会想到， G A N GAN GAN中的判别器是否可以用 C N N CNN CNN做二元分类器来进行替代，那么如何把 C N N CNN CNN与 G A N GAN GAN很好的结合起来?   《 U n s u p e r v i s e d R e p r e s e n t a t i o n L e a r n i n g w i t h D e e p C o n v o l u t i o n a l G e n e r a t i v e A d v e r s a r i a l N e t w o r k s Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks UnsupervisedRepresentationLearningwithDeepConvolutionalGenerativeAdversarialNetworks》论文告诉了我们答案。     论文作者将 G A N GAN GAN中的生成器，判别器都用两个卷积神经网络来进行替换。用二元分类的 C N N CNN CNN来做判别器，用反卷积代替卷积操作的卷积神经网络来做生成器，反卷积操作可简单理解为往原有的小像素矩阵中进行填充，之后再进行卷积操作，从而实现从”小到大”（从而可以实现用一组列向量生成一个像素矩阵）的变化。   D C G A N DCGAN DCGAN对卷积神经网络的结构做了一些改变，以提高样本的质量和收敛的速度，这些改变有：

1.取消所有 p o o l i n g pooling pooling层。 G G G网络中使用转置卷积（ t r a n s p o s e d c o n v o l u t i o n a l l a y e r transposed convolutional layer transposedconvolutionallayer）进行上采样， D D D网络中用加入 s t r i d e stride stride的卷积代替 p o o l i n g pooling pooling。 2.在 D D D和 G G G中均使用 b a t c h n o r m a l i z a t i o n batch normalization batchnormalization 3.去掉 F C FC FC层，使网络变为全卷积网络 4. G G G网络中使用 R e L U ReLU ReLU作为激活函数，最后一层使用 t a n h tanh tanh 5. D D D网络中使用 L e a k y R e L U LeakyReLU LeakyReLU作为激活函数

D C G A N DCGAN DCGAN中的 G G G网络示意：

    借助我们之前的推导快速地理解一下动漫头像生成的 G A N GAN GAN原理。如下图所示，判别器将数据集中的采样做真样本，由噪声采样经生成器反卷积生成的图像做假样本进行每代的更新，生成器则以让判别器尽可能地给自己生成的图像打高分为目的进行模型的更新迭代。       我们也可以用合作的思想去理解生成器同判别器的关系：       初始化两个模型后，再依照我们之前提及的模型 G G G, D D D固定一方，更新另一方的方法进行反复迭代。数据集提供的样本做真样本，由 G G G生成的样本做假样本。       之所以要这样做，是因为，如果我们只用数据集抽样出的样本训练 D D D，（而我们收集的图片都是由真人绘制的好图片），换言之，我们只能为判别器提供标签为 1 1 1的样本，除此之外没有反例，这样训练出来的 D D D从来没有见过反例，此时给他一张由 G G G生成的假图片，它也会给它打高分，可以这样理解，在它看来假图片和真图片都是图片，都应该打高分（ D D D并没有学会我们想要它学会的特征）。       所以，负面的例子对判别模型来说至关重要，于是我们可以让数据集中抽样出来的样本做真样本（得分为1，real），让生成器生成的样本做假样本（得分为0，fake）。        生成算法：给出一系列的正例，以及随机生成的反例。在每一个轮次中让 D D D学习这些正，反例，训练好判别器之后，固定住。接着训练我们的生成器，使它生成的反例能够尽可能地在判别器中得高分。        算法主体：和之前提及的一样，初始参数，固定一方，训练另一方，让 G G G学会“欺骗”判别器。       另一种思路，我们可以认为所有的画手在画二次元美少女的时候都服从一种固定的规律，比如眼睛的位置，头发的走向，依照一些让人感觉舒服的比例画出好的图片，又因为机器理解图片是借助像素矩阵实现的（所以你喜欢的不是二次元美少女是矩阵啊），用数学的思维来理解，就是所有的美少女头像都是服从一种复杂分布的。如图所示，我们在这个分布里面取样本可以得到我们想要的五官分布正常的好样本，而脱离这个分布之外，我们可以获取各种“抽象派”画作。       那么生成器 G G G要做的就是找出这个分布，并完成对它的模拟，从而让随机噪声经过生成器后能够得到满足这个好分布的图像。       那么我们可以从极大似然估计的方法去计算这个分布的参数，通过图中的数学变化可以发现，求参数的最大似然等价于求 P d a t a P_data Pd​ata分布与 P G P_G PG​分布的 K L KL KL散度。那么我们求似然最大就等价于求散度最小。       同时我们再来看判别器的目标函数，经过求导带入极值点后我们发现，判别器的目标函数最大值就是两个 K L KL KL散度之和。从而判别器，生成器联系了起来，生成器的目标函数可以从 m i n min min K L KL KL改写成 m i n min min m a x max max V V V ( G G G, D D D)。到这各位可以回过头去再看看推到证明中的那个式子。  

    本次采用的数据集约有 16000 16000 16000张，像素为96X96，可以看到一些熟悉的角色（诸如凉宫，长门），下文提供下载链接，网路上也有很多其他的数据集，诸君也可以借助爬虫放自己喜欢的角色进去（京都粉可以尝试爬京都的作画，生成图片会比较接近京都脸）。  

  网盘链接：链接：https://pan.baidu.com/s/1MFulwMQJ78U2MCqRUYjkMg 提取码：58v6 复制这段内容后打开百度网盘手机App，操作更方便哦  

代码部分主要参考：张先生-您好.Pytorch实现GAN 生成动漫头像

  每 50 50 50轮展示一次    

    每 100 100 100轮展示一次    

        理论上，生成器的更新频率应该小于判别器，因为生成器变化太快，会导致 V V V( G G G, D D D)变化剧烈，从而最开始的最高点不再满足最高要求。    

    用训练好的生成器，随机输入一组噪声，生成结果如下。效果不理想，希望大佬们能够给出意见让我能够学习改进一下。（找到原因了，数据集太小了，目前在收集数据中，之后更新此处）  

    博主第一次写博文，很多不足之处希望多多包涵，之后会陆续补齐李教授的其他作业讲解，希望能够帮助到一些和我一样刚入门的朋友，也希望大佬可以帮忙提意见帮助我改进不足之处。