（三）使用生成对抗性网络(GAN)的“深度伪造”（“Deep Fakes” using Generative Adversarial Networks）2014

您所在的位置：网站首页 › 数码迷彩生成器怎么用 › （三）使用生成对抗性网络(GAN)的“深度伪造”（“Deep Fakes” using Generative Adversarial Networks）2014

（三）使用生成对抗性网络(GAN)的“深度伪造”（“Deep Fakes” using Generative Adversarial Networks）2014

2024-06-14 13:33| 来源: 网络整理| 查看: 265

（三）使用生成对抗性网络(GAN)的“深度伪造”（“Deep Fakes” using Generative Adversarial Networks）

paper：“Deep Fakes” using Generative Adversarial Networks (GAN) 2014

code：

“Deep Fake”是一种基于人工智能的图像合成技术，比传统的图像到图像的是转换更加强大，不需要成对的训练数据集（pair training data）就可以生成图片。“deep fake”的目的是从一组已存在的图像中获取共同的特征，并找到一种赋予其他图像这些特征的方法，例如形状和样式。生成对抗性网络(GANS)为我们提供了一种实现“deep fake”的有效途径。

采用Cycle-GAN network，由两个GAN网络组成，损失函数由两部分：(1)生成器部分的LOSS为LG（包含循环一致性损失Lcyc，保证图片在输入输出的映射是合理的）(2)鉴别器的LOSS为LD。通过迭代计算和反向传播这两个loss训练Cycle-GANCycle-GAN实现目标转换和风格转换两个目标：（1）目标转换：相互转化手袋和背包的图像（2）风格转换：艺术照的转换，eg梵高油画和秋叶。使用pytorch框架生成的图像效果好。

Section 1：introduction

图像到图像的转换基本原理可以看作是在一定程度上改变输入图像的特征，同时保持其他特征不变，特征变化的方法可以手动或自动的进行调整。对于自动变化，应该包括一个基于机器学习的过程，从大量图像的大量训练数据集中学习一种通用的传输方法，以确保转换对于各种输入都是合理的[1，2，3]。成对的训练数据是难以获取的，提出Cycle GAN，可以学习在图像之间进行转换，无需成对的训练图像作为输入（fig1，右）。通过两个转换任务来测试Cycle-GAN系统：手袋和背包之间的图像转换，真实图片和不同艺术风格之间的转换，eg油画和秋叶。图形到图形的转换方法：前期通过手动或者半自动的方法（增强图像对比[enhancement of the contrast of pictures ]，图像平滑策略[image smoothing strategy]，降噪技术[noise reduction techniques]，）利用生成的对抗性网络(GaN)实现图像到图像的翻译[6](2015深度卷积生成对抗网络(DCGAN)来实现无监督表示学习的过程并获得满意的结果[7][G,D都是CNN];提出CycleGAN来建立一个未配对的网络图像到图像转换[4][网络结构见概要])

Section 2：物理与数学框架

GAN:生成假图像的基本模块是GAN

DCGAN(Deep Convolitional GAN)深度卷积对抗网络：G,D,都是CNN,

不足：所有输入经常映射到相同的输出，这称为“模式崩溃”[8]。

Cycle-GAN：

两个DCGAN构成（两个D,两个G，在训练期间，向两个DCGANs分别发送两组不同的图像作为输入。）

循环一致性损失Lcyc：以确保如果我们将图像从一个域转换到另一个域，然后再返回到该域，最后图像应该返回到它离开[4]的位置，这意味着输入和输出的映射是合理的。循环一致性损失包括两部分。（1）前向循环一致性损失，它确保F(G(X)≈x(通过映射G将输入图像x从域X转换到域Y，然后通过映射F返回域X)，（2）后向循环一致性损失，它保证G(F(Y)≈y。

Lidentity损失：引入额外损失鼓励映射G,F来保持输入和输出之间的颜色组合，目的是当将目标域中的真实图像作为输入提供给生成器时，调节生成器接近标识映射

DCGAN有两个对抗损失两个鉴别损失，分别将对抗损失和鉴别损失进行合并得到整个循环对抗网络的对抗损失Lgan鉴别网络损失LD，有四个损失值。

LOSS: