论文Digital Face Makeup by Example(妆容迁移,无监督模型) |
您所在的位置:网站首页 › siggraph论文怎么样 › 论文Digital Face Makeup by Example(妆容迁移,无监督模型) |
需求:两幅图像(素颜目标图和带妆参考图) 方法:将两幅图像分别分解成三层:面部结构层(包括眼睛、鼻子、嘴巴等)、皮肤细节层(包括皮肤纹理、瑕疵、痣、皱纹等)、颜色层,将参考图的皮肤细节层和颜色层迁移到目标图上,同时保留目标图的面部结构层。 模型: 在传输之前需要目标图和参考图之间进行面部完全对齐(因为信息是逐像素传递) 步骤: 1. 面部对齐: 采用薄板样条(TPS)[1]将参考图扭曲为目标图。 使用ASM获得TPS所需的控制点,因为脸型的多样性,我们可以手动添加控制点。
图a是83个控制点的示例,控制点定位了眉毛、眼睛、鼻子、嘴唇等还有其它面部皮肤。将这些组件分为三类,使用不同的颜色定义(图b) 2. 层分解 ①将目标图和参考图先分解为颜色层和亮度层: 将目标图和参考图转换为CIELAB颜色空间,L*表示亮度层,a*、b*表示颜色层 ②再将亮度层分解为人脸结构层和皮肤细节层: 对亮度层进行保边平滑处理(edge-preserving smoothing),得到人脸结构层,然后将亮度层减去或除以人脸结构层,得到皮肤细节层。这步操作有两种方法可以处理(WLS算法和双边滤波[2]),本文采用第一种。
l表示亮度层,s表示人脸结构层。|s-l|2是为了让s与l相似,是为了让s尽可能的平滑。 为了在不同区域平滑度不同,所以在H中加入β p表示图像像素,ε是一个很小的常数,防止除0。
皮肤细节层:
3. 皮肤细节迁移 加权相加
δ代表权重,I是目标图,ε是参考图,R是生成图。结果不能特别小,否则生成的图像会因缺少皮肤细节而失真。 4. 颜色迁移
属于皮肤区域的时候两者权重相加,本文中的实验ℷ=0.8 5. 高光和阴影迁移 高光和阴影效果的平滑变化保留在人脸结构层中 使用梯度编辑算法[3],保持目标图的光照,迁移高光和阴影效果同时产生平滑效果。
使用Gauss-Seidel方法求解 6. 唇妆 用目标图引导的来自参考图的像素值填充生成图的每一个像素
M表示化妆后的唇部区域,G()表示高斯函数,是分别使用参考图和目标图的直方图均衡后仅L*通道中像素值的差异。 将M的化妆结果合并到生成图R中,用梯度替换法将M的L*通道加到R的L* 通道上,M 的 a∗, b∗通道替换R中的相应区域。
与有监督模型结果对比 参考图只用了一张妆后图。结构保留更好。对于肤色,本文是从参考图中提取肤色,Tong等人是保留原有肤色。 缺点: 需要保持参考图和目标图都是正面
|
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |