图像素描风格生成 |
您所在的位置:网站首页 › 素描画生成 › 图像素描风格生成 |
前言 论文链接:Combining Sketch and Tone for Pencil Drawing Production Matlab版本的代码,目前找到有两个: 1、https://github.com/fumin/pencil 2、https://github.com/candycat1992/PencilDrawing 效果看起来第二个要好,而且写的代码非常简洁。 我实现了Scala的版本(有一小部分用到了python),基于第一个Matlab版本的代码: https://github.com/Ldpe2G/Pencil-Drawing-Scala 其实是差不多实现完了才发现了第二个版本的matlab代码,后面会看看能否作些改进。 正文首先看看从论文中截取的素描风格生成框架图: ![]() 主要是两大步组成,模拟画家画素描画的两个步骤: 1,Line Drawing,先画线,描轮廓; 2,Tone Drawing 再加上色调,比如阴影。 下面详细介绍两个步骤。 1. Line Drawing首先来看看一幅图: ![]() 左边是画家画的一幅素描画,右边是放大细节部分。通过观察我们可以发现,画家在画 边的时候,都是用一段一段的线段组合起一幅画的。基于这个事实,文章提出了一种模 拟素描画边的方法。主要也是分两步走。 1.1 Classification首先将输入图片转为灰度图,然后通过前向差分,分别计算x,y方向的梯度,再根据以下 公式计算大小: ![]() 公式中的 I 表示输入图片的灰度图,实现上我是用Prewitt’s operator来计算梯度的, 也试过Sobel 算子,效果差不多。 在模拟素描画线的难点在于估计每个像素点的画线方向,比较简单的方法是根据梯度方向, 但是会很容易受噪声的影响,而在文章中则提出了一个更加鲁棒的策略。 首先生成8个方向的线段(卷积核), ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() 然后分别和G作卷积: ![]() 然后通过得到的相应图Gi来分类像素点,i (1~8): ![]() p代表原图像素点的索引。根据公式3,我们可以知道 ![]() 文章中声称以上的方法能对抗各种的噪声。 1.2 Line Shaping获得Ci之后,首先和对应的线段卷积核作卷积,然后再加起来: ![]() 通过卷积操作可以聚集附近同一个方向的像素点,这样就可以把边原图上边上的像素点连起 来。最后的结果就是把S‘的像素值反转,然后再映射到 [0, 1] 区间。就得到结果了。 用scala代码跑的结果作演示: ![]() ![]() 这一步这要就是模拟画家用铅笔上色的过程,这需要利用道原始灰度图的信息。 我们首先来看一张图: ![]() 左边是自然场景图片和对应的像素值直方图,右边是素描画和对应的直方图。 可以看到直方图的分布是很不一样的。因此原图像的色调是不能直接用在色调生成上的。 然后文章中提出了一种参数化模型来解决这个问题。 2.1 Model-based Tone Transfer文中提出了一个模型来表示色调分布: ![]() v 表示色调值,然后 p(v)表示这个像素是用色调值v来表示的概率。Z是正则化因子。 三个 pi(v) 分别代表在素描画中的三个不同的色调层,ω 代表权值,形象的理解可以看 作是对应的色调的像素值的个数。再来看一幅图: ![]() (a)是一幅素描画,然后 (b),是把像素值分成三类的结果,绿,橙,蓝分别代表 深,中,浅三种色调。(c)对应的三种色调的直方图。分析结果就是,自然图像和素描 画的最大的区别就是素描画空白的区域更大,亮度更高。 然后三中色调对应三个公式来表示: ![]() ![]() ![]() 然后就是如何求解公式中的参数了。 2.2 Parameter Learning权值 ω 由每个色调层的像素个数决定。然后对每层的参数采用最大似然估计的方式来 求解。每层的像素值的均值和标准差表示为m和s。参数可以近似的表示为: ![]() xi代表像素值,N表示每层像素值的个数。 然后学习到的参数如下: ![]() 但是其实在matlab代码的实现上,对于权值 ω的设定和三个公式的实现,并不是完全按照 论文中的定义来实现的,我做了不少实验来调节参数然后看结果,发现还是得按照matlab 代码的设定才能最大程度复现论文的结果,所以应该还有有哪里一些细节没处理好。 然后学习到参数之后,对于每一张新的输入图像,通过直方图匹配的方法来修正灰度图的 像素值,也就是用输入图像的灰度图的直方图去匹配素描画的直方图。 2.3 Pencil Texture Rendering做完直方图匹配之后,原图的像素值分配就比较接近素描画的了,但是还不能直接就用这个 修正的灰度图和上一步生成的描边直接组合,还需要模拟一下素描画的纹理。如何生成 这个纹理是一个很难解决的问题。 文章中生成他们收集了20张左右的素描纹理图来做实验,matlab的代码中提供了3张: ![]() ![]() ![]() 每个输入图片只需要一张即可。在画家作画的时候,色调的生成就是在某处重复的画。 模拟的方法直观的理解就是,通过将纹理图作乘法。 ![]() 。这个 beta 就是我们要求解的。 beta 越大则得到的得到色调越深。通过求解以 下公式可以得到 beta : ![]() 其实怎么在代码上去实现求解我是想不到的,但是好在matlab的代码实现了求解, 最后其实是在求解一个非常大的线性方程组,不过矩阵都是非常稀疏的。至于怎么能 那么实现,到目前为止我还是没看懂,不过直接把matlab的代码移植到scala还是没问 题的。个人感觉复现过程中最难的部分也就是这里了,我尝试了很多java/scala的矩阵库 (la4j, mtj, colt等等),速度上都不满意,最终发现 breeze是速度上最接近matlab的, 但是在求解稀疏矩阵相关的线性方程组的时候,breeze还不支持,最后实在没办法了, 只能把这部分求解的实现放到python中去做,用scipy这个库来解决,由此可以看到, scala在做科学计算上还是,比不上python。最后用了一种比较low的方法,在代码中调 用python的脚本,然后再把脚本的结果读取上来。 ok,回到正题,得到 beta 之后,模拟素描画色调纹理的图就可以得到了: ![]() 最终的结果就是把色调和轮廓结合起来,用一个矩阵的点乘操作即可: ![]() 文章还做了一些拓展,比如如何给素描画上色,就是比如把RGB转换到YUV空间, 然后把Y通道拿出来,经过之前的步骤来生成素描画,再把它放回到Y通道上,最后再 重新转换成RGB即可。文章剩下的部分就是一些结果展示和对比试验结果,想深入了解 的话可以去看看paper。 4 复现结果展示最后展示一下用scala代码生成的一些素描图,只能说勉强复现了论文的方法。 展示格式,原图,素描轮廓图,素描图或彩色素描图。 ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() [1] http://stackoverflow.com/questions/12636896/how-to-solve-a-linear-system-of-matrices-in-scala-breeze [2] http://statr.me/2015/09/an-overview-of-linear-algebra-libraries-in-scala-java/ [3] http://stackoverflow.com/questions/7086820/convert-rgb-to-ycbcr-c-codehttps://en.wikipedia.org/wiki/Edge_detection [4] https://en.wikipedia.org/wiki/Edge_detection [5] http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.301.927&rep=rep1&type=pdf |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |