FFmpeg(7.1版本)的基本组成

1. 前言

FFmpeg 是一个非常流行的开源项目，它提供了处理音频、视频以及其他多媒体内容的强大工具。FFmpeg 包含了大量的库，可以用来解码、编码、转码、处理和播放几乎所有类型的多媒体文件。它广泛用于视频和音频的录制、转换、流媒体传输等领域。

2. FFmpeg的组成

1. FFmpeg的基本组成

包含AVFormat、AVCodec、AVFilter、AVDevice、AVUtils等模块库，如下图所示。

• libavformat：封装模块

        文件格式和协议库，封装了Protocol层和Demuxer、Muxer层。其中实现了目前多媒体领域中的绝大多数媒体封装格式，包括封装和解封装，如MP4、FLV、KV、TS等文件封装格式，RTMP、RTSP、MMS、HLS等网络协议封装格式。FFmpeg是否支持某种媒体封装格式，取决于编译时是否包含了该格式的封装库。根据实际需求，可进行媒体封装格式的扩展，增加自己定制的封装格式，即在AVFormat中增加自己的封装处理模块。

        用于各种音视频封装格式的生成和解析，包括获取解码所需信息以生成解码上下文结构和读取音视频帧等功能；音视频的格式解析协议，为 libavcodec 分析码流提供独立的音频或视频码流源。

• libavcodec：编解码模块

        编解码库，封装了Codec库，AVCodec中实现了目前多媒体领域绝大多数常用的编解码格式，即支持编码，也支持解码。AVCodec除了支持MPEG4、AAC、MJPEG等自带的媒体编解码格式之外，还支持第三方的编解码器，如H.264（AVC）编码，需要使用x264编码器；H.265（HEVC）编码，需要使用x264编码器；MP3（mp3lame）编码，需要使用libmp3lame编码器。如果希望增加自己的编码格式，或者硬件编解码，则需要在AVCodec中增加相应的编解码模块。默认不会添加libx264、libfdk_aac等三方库的，但可以插件形式添加，然后提供统一接口。

        用于各种类型声音/图像编解码。该库是音视频编解码核心，实现了市面上可见的绝大部分解码器的功能， libavcodec 库被其他各大解码器 ffdshow， Mplayer 等所包含或应用。

• libavdevice ：硬件采集，加速，显示模块

        输入输出设备库，音/视频的输入输出需要确保该模块已经打开

        硬件采集、加速、显示。操作计算机中常用的音视频捕获或输出设备：ALSA,AUDIO_BEOS,

JACK,OSS,1394，VFW。

• libavfilter：滤镜模块

        提供了一个通用的音频、视频、字幕等滤镜处理框架。在AVFilter中，滤镜框架可以有多个输入和多个输出。

        filter（FileIO、FPS、DrawText） 音视频滤波器的开发，如宽高比 裁剪 格式化 非格式化 伸缩。

• libavutil：核心工具库

        核心工具库，许多其他模块都会依赖该库做一些基本的音视频处理操作，如log信息、版本信息等。

        包含一些公共的工具函数的使用库，包括算数运算 字符操作。

• libswscale：视频图像转换计算模块

        提供了高级别的图像转换API，例如它允许进行图像缩放和像素格式转换，常见于将图像从1080p转换成720p或者480p等的缩放，或者将图像数据从YUV420p转换成YUYV，或者YUV转RGB等图像格式转换。

        （原始视频格式转换） 用于视频场景比例缩放、色彩映射转换；图像颜色空间或格式转换，如 rgb565、rgb888 等与 yuv420等之间转换。

• libswresample：音频图像转换计算模块

        该模块可用于音频重采样，可以对数字音频进行声道数、数据格式、采样率、等多种基本信息的转换，同时支持音频通道布局转换与布局调整。

        原始音频格式转码。

• libpostproc：后处理模块

        该模块可用于进行后期处理，当我们使用AVFilter的时 候需要打开该模块的开关，因为Filter中会使用到该模块的一些基础函数。

2.命令行工具