MakeItTalk用一段语音让一张照片动起来 |
您所在的位置：网站首页 › 让图片眼睛动起来的方法 › MakeItTalk用一段语音让一张照片动起来 |
MakeItTalk用一段语音让一张照片动起来
|
MakeItTalk用一段语音让一张照片动起来
flyfish 输入是一段语音和一张照片，输出就是照片里的人在说话的视频. 模型与源码一起提供,拖到文章末尾出有下载地址。 看例子原始图片 这里是初始的使用教程比官网更加详细一些，因为增加一些容易使用的代码。 因为下载模型稍微有困难，所以这里模型与源码一起提供，点击这里下载。并且都已经各安其位，各司其职。 总共需要三部 第一步下载模型与源码一起提供 链接：https://pan.baidu.com/s/1WvlRVUVbTOahpNedl9EUQA 提取码：hrvp 第二步看自然人脸的效果为了一键执行，原始文件没动，增加了执行程序quick_demo.py可以什么都不用操心了，等着程序完成就行了。 在Python环境一条一条的执行 sudo apt-get install ffmpeg pip install -r requirements.txt python quick_demo.py还可以使用下面的命令看效果 python main_end2end.py 第三步看卡通脸的效果卡通人说话 python main_end2end_cartoon.py --jpg wilk.png --jpg_bg wilk_bg.png如果出现结果是 libswresample 2. 9.100 / 2. 9.100 libpostproc 54. 7.100 / 54. 7.100 [image2 @ 0x55e0ebefab40] Could find no file with path '%06d.tga' and index in the range 0-4 %06d.tga: No such file or directory官网提供的方法是在Ubuntu16.04安装winehq-stable运行facewarp.exe。这里是把facewarp.exe放在windows系统运行。出现这种错误不用担心。 把源码中windows文件夹放到windows操作系统中运行 运行命令如下 这里放置的E盘 E:\facewarp>facewarp.exe examples_cartoon/wilk.png out/triangulation.txt out/reference_points.txt out/warped_points.txt examples_cartoon/wilk_bg.jpg -novsync -dump生成了一堆tga图片 写一段代码将tga图片合并成gif import imageio as iio, os def merge_gif(source_path,target_path): lst = os.listdir(source_path) with iio.get_writer(target_path+"result.gif", mode='I') as writer: for i in lst: tmp=source_path + i print("process",tmp) writer.append_data(iio.imread(tmp)) if __name__ == "__main__": source_path = "./2/" # 一堆图片所在路径 target_path = "./1/" # 生成gif的路径 merge_gif(source_path,target_path) 出处论文题目是《MakeItTalk: Speaker-Aware Talking-Head Animation》 框架流程 原始的代码地址 https://github.com/adobe-research/MakeItTalk.git 更容易使用的代码地址 链接：https://pan.baidu.com/s/1WvlRVUVbTOahpNedl9EUQA 提取码：hrvp |
AI模型让它动起来后 
【本文地址】