FFmpeg 是什么? |
您所在的位置:网站首页 › 怎么读wheels › FFmpeg 是什么? |
笔者才开始学习音视频开发,主要是通过阅读刘歧、赵文杰编著的《FFmpeg从入门到精通》以及雷霄骅博士博客总结写的入门心得体会。 官方文档资料 FFmpeg官方文档:https://ffmpeg.org/documentation.html FFmpeg官方wiki:http://trac.ffmpeg.org/wiki 中文经典资料 雷霄骅博士csdn链接:https://blog.csdn.net/leixiaohua1020 ChinaFFmpeg:http://bbs.chinaffmpeg.com 除了以上这些信息,还可以通过 Google、百度等搜索引擎获得大量相关资料。 本文这里简单介绍一下 FFmpeg 是什么? 一、FFmpeg的定义FFmpeg 既是一款音视频编解码工具,同时也是一组音视频编解码开发套件,作为编解码开发套件,它为开发者提供了丰富的音视频的调用接口。 FFMpeg 提供了多种媒体格式的封装和解封装,包括多种音视频编码、多种协议的流媒体、多种色彩格式转换、多种采样率转换、多种码率转换等;FFmpeg 框架提供了多种丰富的插件模块,包含封装与解封装的插件、编码与解码的插件等。 FFmpeg 中的 “FF” 指的是 “Fast Forward”,FFmpeg 中的 “mpeg” 则是 “Moving Picture Experts Group(动态图像专家组)”。 PS:有不少人不清楚 “FFmpeg” 应该怎么读。它读作 “ef ef em peg”。 二、FFmpeg的基本组成模块FFmpeg 框架的基本组成包括 AVFormat、AVCodec、AVFilter、AVDevice、AVUtil 等模块库。下面针对这些模块做一个大概的介绍。 (1)FFmpeg的封装模块AVFormat AVFormat 中实现了目前多媒体领域中的绝大多数媒体封装格式,包括封装和解封装,如 MP4、FLV、KV、TS 等文件封装格式,RTMP、RTSP、MMS、HLS 等网络协议封装格式。 FFmpeg 是否支持某种媒体封装格式,取决于编译时是否包含了该格式的封装库。根据实际需求,可进行媒体封装格式的拓展,增加自己定制的封装格式,即在 AVFormat 中增加自己的封装处理模块。 (2)FFmpeg的编解码板块AVCodec AVCodec 中实现了目前多媒体领域绝大多数常用的编解码格式,既支持编码,也支持解码。AVCodec 除了支持 MPEG4、AAC、MJPEG 等自带的媒体编解码格式之外,还支持第三方的编解码器,如 H.264(AVC)编码,需要使用 x264 编码器;H.265(HEVC)编码,需要使用 X265 编码器;MP3(mp3lame)编码,需要使用 libmp3lame 编码器。如果希望增加自己的编码格式,或者硬件编解码,则需要在 AVCodec 中增加相应的编解码模块。 (3)FFmpeg的滤镜模块AVFilter AVFilter 库提供了一个通用的音频、视频、字幕等滤镜处理框架。在 AVFilter 中,滤镜框架可以有多个输入或多个输出。 (4)FFmpeg的视频图像转换计算模块swscale swscale 模块提供了高级别的图像转换 API,例如它允许进行图像缩放和像素格式转换,常见于将图像从 1080p 转换成 720p 或者 480p 等的缩放,或者将图像数据从 YUV420P 转换成 YUYV,或者 YUV 转 RGB 等图像格式转换。 (5)FFmpeg的音频转换计算模块swresample swresample 模块提供了高级别的音频重采样 API。例如它允许操作音频采样、音频通道布局转换与布局调整。 三、FFmpeg的主要工作流程FFmpeg 的主要工作流程相对比较简单,具体如下: 1)解封装(Demuxing) 2)解码(Decoding) 3)编码(Encoding) 4)封装(Muxing) 其中需要经过 6 个步骤,具体如下: 1)读取输入源 2)进行音视频的解封装 3)解码每一帧音视频数据 4)编码每一帧音视频数据 5)进行音视频的重新封装 6)输出到目标 FFmpeg 整体处理的工作流程与步骤如下图所示: 四、FFmpeg的相关术语媒体流(Stream):表示在时间轴上的一段连续的数据,比如一段声音数据、一段视频数据或者一段字母数据,可以是压缩的,也可以是非压缩的,压缩的数据需要关联特定的编解码器。 数据帧/数据包(Frame/Packet):通常一个媒体流是由大量的数据帧组成的,对于压缩数据,帧对应着编解码器的最小处理单元,分属于不同媒体流的数据帧交错存储与容器之中。 编解码器:编解码器是以帧为单位实现压缩数据和原始数据之间的相互转换的。 前面介绍的术语,就是 FFmpeg 中抽象出来的概念。其中: 1. AVFormatContext:就是对容器或者媒体文件层次的抽象。 2. AVStream:在文件中(容器里面)包含了多路流(音频流、视频流、字幕流),AVStream 就是对流的抽象。 3. AVCodecContext 与 AVCodec:在每一路流中都会描述这路流的编码格式,对编解码器格式以及编解码器的抽象就是 AVCodecContext 与 AVCodec。 4. AVPacket 与 AVFrame:对于编码器或者解码器的输入输出部分,也就是压缩数据以及原始数据的抽象就是 AVPacket 与 AVFrame。 5. AVFilter:除了编解码之外,对音视频的处理肯定是针对于原始数据的处理,也就是针对 AVFrame 的处理,使用的就是 AVFilter。 五、FFmpeg的一些应用场景下面介绍一下 FFmpeg 都用在了哪里(在这里仅列几个我所知的,其实远比这个多)。说白了就是为了说明:FFmpeg 是非常重要的。 使用 FFmpeg 作为内核视频播放器: Mplayer,ffplay,射手播放器,暴风影音,KMPlayer,QQ影音...使用 FFmpeg 作为内核的 Directshow Filter: ffdshow,lav filters...使用 FFmpeg 作为内核的转码工具: ffmpeg,格式工厂...事实上,FFmpeg 的音视频编解码功能确实太强大了,几乎囊括了现存所有的音视频编码标准,因此只要做音视频开发,几乎离不开它。 参考: 刘歧、赵文杰编著的《FFmpeg从入门到精通》第1章 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |