VideoTrans:免费开源的视频翻译、配音、生成字幕工具

您所在的位置:网站首页 四人中文配音视频 VideoTrans:免费开源的视频翻译、配音、生成字幕工具

VideoTrans:免费开源的视频翻译、配音、生成字幕工具

2024-07-07 07:27| 来源: 网络整理| 查看: 265

一键字幕识别+翻译+配音=带新语言字幕和配音的视频。

VideoTrans-1.png

免费开源的视频翻译、配音、生成字幕工具,整合了很多大模型,功能做的很全,真的很感谢这些开源作者,有些大模型没有GUI,对于小白很不友好,这种整合真的方便了很多,一个软件一条龙就把问题解决了。

曾几何时,找个中文字幕是那么的难,现在虽然是机翻的,但是少大概意思能明白!

VideoTrans官网:https://pyvideotrans.com/

Github:https://github.com/jianchang512/pyvideotrans

这是一个视频翻译配音工具,可将一种语言的视频翻译为指定语言的视频,自动生成和添加该语言的字幕和配音。

语音识别使用 faster-whisper openai-whisper 离线模型.

文字翻译支持 microsoft|google|baidu|tencent|chatGPT|Azure|Gemini|DeepL|DeepLX|离线翻译OTT

文字合成语音支持 Microsoft Edge tts Openai TTS-1 Elevenlabs TTS 自定义TTS服务器api GPT-SoVITS clone-voice

允许保留背景伴奏音乐等(基于uvr5)

支持的语言:中文简繁、英语、韩语、日语、俄语、法语、德语、意大利语、西班牙语、葡萄牙语、越南语、泰国语、阿拉伯语、土耳其语、匈牙利语、印度语

除了这个核心功能,还附带其他一些工具:

语音识别文字:可将视频或者音频中的声音识别为文字,并可以导出为字幕文件。音频视频分离:可将视频分离为一个无声视频文件和一个音频文件文字字幕翻译:可将文字或srt字幕文件,翻译为其他语言视频字幕合并:可将字幕文件嵌入到视频中音频视频合并:可将视频文件、音频文件、字幕文件三者合成为一个文件文字合成语音:可将任意文字或srt文件,合成为一个音频文件。

这个工具原理是什么呢:

输入视频后,先使用 ffmpeg 分离出音频文件和无声mp4,然后用 faster-whisper 将该音频中的人声识别为文字,接着将文字翻译为目标语言并保存为srt字幕文件,再把翻译结果文字合成为语音并保存为配音音频文件。

最后将无声mp4、配音音频文件、字幕srt文件合并为一个视频文件,即完成。

当然中间步骤更复杂些,比如抽离背景音乐和人声、字幕声音对齐、字幕画面对齐、原时长和配音时长对齐、ffmpeg使用GPU加速、不标准mp4视频处理等。

VideoTrans-2.png

VideoTrans-3.png

VideoTrans-4.png



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3