用微信扫码二维码

分享至好友和朋友圈

　　“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”

　　中国很有影响力影视特效CG动画领域自媒体

　　最近小伙伴们被AI画图给惊到了吧？小编看了几篇介绍文章，也大受震撼。比如，这种

　　AI真的也太了解人类审美了，这妹子画的也太吸睛了。本来也想借此机会蹭一波热度，但仔细想想我们“高大尚”的粉丝对这种图一直是嗤之以鼻的，所以还是忍住了，没推送。

　　但是，昨天朋友大半夜发来一张图，让我坐不住了。

　　卧槽，这么说有了ControNet的加持，那些AI生成的二次元角色也好，还是上面的这种写实真人也好，都可以改变姿势，让他们动起来了！？

　　这也太快了吧？！那么，这个ControlNet到底是什么，又是什么工作原理咧？小编本着追本溯源的精神，一一去搜索了下。

　　ControlNet是2月10日由张吕敏和马内什·阿格瓦拉共同发表的一篇论文。几日后就发布了训练好的模型，目前在GitHub上可下载，短短几天迅速成为AI绘画的又一个热点，成长速度可谓相当快。

　　https://github.com/lllyasviel/ControlNet

　　ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。直白的来讲就是通过额外的输入内容控制预训练的大模型，一种端对端的训练，目前比较火的stable diffusion都是通过这种方式来实现的。

　　但ControlNet的优势在于对于细节的控制能力。它把一些细节的输入关键词进行了单独的训练。这就好比你让AI画一幅画，stable diffusion只能给你画个大概，但ControlNet可能会更精细的考虑构图、线条，深度信息等等都能给你提供。目前根据GitHub上以公布的可控内容有几个方面。

　　边缘检测

　　M-LSD直线检测

　　可以更改更改M-LSD阈值，这个功能对于建筑表现简直不要太实用。

　　柔和的软边

　　使用涂鸦

　　深度信息控制

　　这个深度信息对于我们CG行业制作尤为重要，有了它可以加任意的景深等等效果。但这个深度信息与Stability的模型不同，ControlNet接收完整的512×512深度图，而不是64×64深度。这意味着ControlNet将在深度图中保留更多的细节。

　　法线映射

　　这个对于CG建模来说简直不要太疯狂。

　　语义分割

　　这个功能倒不是很新鲜，之前英伟达推出的GauGAN类似。但出现在这里，着实强大了ControlNet的功能。

　　动画线条控件

　　为动画线条提取增加的一个功能。目前这个功能尚未添加，正在评估潜在的风险。

　　可以说满足了目前我们绘制所需情况的大多数的场景需要，甚至满足了一定CG制作流程的需要。

　　但我们今天的重点不是这些，重点是它其中还有一个对于AI生成图像重要的功能：openpose姿势识别。

　　它不但能生成单个角色的姿势，甚至可以生成多人的姿势，这是之前的所有文本输入型AI工具几乎无法达到的。

　　目前已有人通过它做了一些改变AI角色姿势的尝试。

　　利用stable diffusion生成角色，ControlNet改变视角

　　如果观察仔细的话，上面这张图里有很多的Bug，比如手关节是无法实现改变，当然了这是早期的一些测试图。根据最新消息，目前已经更新了手指关节姿势。

　　此外，ControlNet可以从给定的一张图像中提取姿势，然后生成一堆姿势相似的图。

　　更厉害的是，如果你没有现成的图像，手绘勾了出大致的造型也可以，这简直已经炸裂了。

　　所以，做CG的小伙伴可能立马会想到，今后的工作可能就变成了，在软件里拉一个人形骨骼，然后摆一个自己想要的姿势，然后，然后，然后剩下的工作就扔给AI直接出图了呀！！！！！！！！

　　用姿势骨骼用AI直接生成角色姿势图

　　文章的最后，让我们回头再看看AI生成的那些美图吧，记住，以后这些都可以直接生成骨骼改变动作，做动画了！

　　全文完

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.