当前位置：首页 > news >正文

ffmpeg音视频开发从入门到精通——ffmpeg 视频数据抽取

news 2025/7/8 10:27:55

文章目录

FFmpeg视频处理工具使用总结
- 环境配置
- 主函数与参数处理
- 打开输入文件
- 获取流信息
- 分配输出文件上下文
- 猜测输出文件格式
- 创建视频流并设置参数
- 打开输出文件并写入头信息
- 读取、转换并写入帧数据
- 写入尾信息并释放资源
- 运行程序
- 注意事项
- 源代码

FFmpeg视频处理工具使用总结

环境配置

在C++程序中使用FFmpeg之前，需要包含相应的头文件，并根据是否使用C++编译器，可能需要添加extern "C"块。在C++中，当包含C语言的头文件时，需要使用extern "C"来告诉编译器这是一个C语言的函数，避免C++的名称修饰导致链接错误。这个例子中，包含了FFmpeg库的头文件，用于处理多媒体文件。
在C++中，当包含C语言的头文件时，需要使用extern "C"来告诉编译器这是一个C语言的函数，避免C++的名称修饰导致链接错误。

#ifdef __cplusplus
extern "C" {
#endif
#include <libavformat/avformat.h>
#include <libavutil/avutil.h>
#include <libavutil/log.h>
#ifdef __cplusplus
}
#endif

主函数与参数处理

程序入口点是main函数，它处理命令行参数并设置日志级别。

检查传入的参数个数是否大于等于3，如果参数个数小于3，就输出错误信息并退出程序。
将第一个参数赋值给变量src，将第二个参数赋值给变量dst，这样就得到了输入文件路径和输出文件路径。
调用av_log_set_level函数设置日志级别为AV_LOG_DEBUG，这样在程序执行过程中会打印出调试级别的日志信息。

int main(int argc, char *argv[]) {// 参数检查if (argc < 3) {av_log(nullptr, AV_LOG_ERROR, "Usage: %s <input file> <output file>\n", argv[0]);exit(-1);}// 输入输出文件路径char *src = argv[1];char *dst = argv[2];// 设置日志级别av_log_set_level(AV_LOG_DEBUG);
}

打开输入文件

使用avformat_open_input打开输入文件，并检查返回值。avformat_open_input是libavformat库中的一个函数，用于打开一个输入文件并初始化输入上下文。
输入参数如下：

AVFormatContext **ps：指向要初始化的AVFormatContext指针的指针。函数将分配一个AVFormatContext结构并将其指针保存在该参数指向的地址中。
const char *url：输入文件的URL或文件名。
AVInputFormat *fmt：强制指定要使用的输入格式。如果为NULL，则函数将根据输入文件的扩展名自动选择适当的格式。
AVDictionary **options：一个指向AVDictionary结构指针的指针，用于设置差异化选项。可以使用该参数来设置例如输入缓冲区大小、超时值等选项。
int (*interrupt_callback)(void)：设置中断回调函数。如果输入操作需要中断，则调用此回调函数。如果为NULL，则不设置中断回调。

函数执行成功后，ps将指向已初始化的AVFormatContext结构，可以使用该结构来进行后续的输入操作。执行失败时，ps将保持不变，而函数将返回一个负值以表示错误原因。

int ret = avformat_open_input(&pFormatCtx, src, nullptr, nullptr);
if (ret < 0) {av_log(nullptr, AV_LOG_ERROR, "Could not open input file: %s\n", src);exit(-1);
}

获取流信息

调用av_find_best_stream找到最佳的视频流。
av_find_best_stream是FFmpeg库中的一个函数，用于查找最佳的流索引。它的定义如下：

int av_find_best_stream(AVFormatContext *ic, enum AVMediaType type, int wanted_stream_nb, int related_stream, AVCodec **decoder_ret, int flags);

参数说明如下：

ic：指向AVFormatContext的指针，表示输入的封装格式上下文。
type：表示所需流的媒体类型，可以是AVMEDIA_TYPE_AUDIO、AVMEDIA_TYPE_VIDEO或AVMEDIA_TYPE_SUBTITLE。
wanted_stream_nb：表示所需流的索引号。
related_stream：表示关联的流的索引号。通常设置为负值，表示没有关联的流。
decoder_ret：指向AVCodec指针的指针，用于返回找到的解码器。
flags：表示查找流的标志位，可以是AVFMT_FLAG_NOFILE、AVFMT_FLAG_GENPTS等。

函数返回值为找到的流的索引号，如果未找到则返回负值错误代码。

这个函数的主要功能是根据指定的媒体类型和索引号，在输入的封装格式上下文中查找最佳的流索引。它会根据一些条件（如流的媒体类型、时间基等）进行评估，然后返回找到的最佳流索引，并通过decoder_ret参数返回对应的解码器。av_find_best_stream是FFmpeg库中的一个函数，用于查找最佳的流索引。它的定义如下：

ret = av_find_best_stream(pFormatCtx, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);
if (ret < 0) {av_log(nullptr, AV_LOG_ERROR, "Failed to retrieve input stream information\n");goto _ERROR;
}

分配输出文件上下文

使用avformat_alloc_context分配输出文件的格式上下文。

avformat_alloc_context是FFmpeg中的一个函数，用于分配一个AVFormatContext结构体，并初始化其成员变量。

输入参数为void。avformat_alloc_context是FFmpeg中的一个函数，用于分配一个AVFormatContext结构体，并初始化其成员变量。

输入参数为void。

oFormatCtx = avformat_alloc_context();
if (oFormatCtx == nullptr) {av_log(nullptr, AV_LOG_ERROR, "Failed to allocate output context\n");goto _ERROR;
}

猜测输出文件格式

使用av_guess_format猜测输出文件的格式。
av_guess_format是FFmpeg库中的一个函数，用于猜测输入参数的格式。它的输入参数包括：

const char *short_name：输入参数的短名称。这是一个字符串，通常是文件的扩展名或格式的简称。
const char *filename：输入参数的文件名。这是一个字符串，指定要处理的文件路径。
const char *mime_type：输入参数的MIME类型。这是一个字符串，指定要处理的媒体类型。

这些输入参数可根据实际需求来选择设置，也可以通过设置为NULL来忽略某些参数。根据提供的输入参数，av_guess_format函数会尝试猜测并返回最有可能的格式。

注意：在使用av_guess_format函数时，应确保FFmpeg库已正确初始化，并且所需的输入参数有效且符合可接受的格式。av_guess_format是FFmpeg库中的一个函数，用于猜测输入参数的格式。它的输入参数包括：

const char *short_name：输入参数的短名称。这是一个字符串，通常是文件的扩展名或格式的简称。
const char *filename：输入参数的文件名。这是一个字符串，指定要处理的文件路径。
const char *mime_type：输入参数的MIME类型。这是一个字符串，指定要处理的媒体类型。

注意：在使用av_guess_format函数时，应确保FFmpeg库已正确初始化，并且所需的输入参数有效且符合可接受的格式。

outFmt = av_guess_format(nullptr, dst, nullptr);
if (outFmt == nullptr) {av_log(nullptr, AV_LOG_ERROR, "Failed to guess output format\n");goto _ERROR;
}
oFormatCtx->oformat = outFmt;

创建视频流并设置参数

为输出文件创建视频流，并复制输入视频流的参数。

outStream = avformat_new_stream(oFormatCtx, nullptr);
avcodec_parameters_copy(outStream->codecpar, pFormatCtx->streams[ret]->codecpar);
outStream->codecpar->codec_tag = 0;

打开输出文件并写入头信息

使用avio_open2打开输出文件，并使用avformat_write_header写入文件头信息。
avio_open2 是用于打开一个输入输出数据流的函数，它的输入参数包括：

AVIOContext **s：指向用于输入输出的 AVIOContext 结构体的指针。
const char *filename：输入输出的文件名或者URL地址，使用 “r” 模式打开用于输入，使用 “w” 模式打开用于输出。
int flags：打开文件的参数，可以是 AVIO_FLAG_READ 表示输入流、AVIO_FLAG_WRITE 表示输出流、AVIO_FLAG_READ_WRITE 表示输入输出流。
const AVIOInterruptCB *int_cb：输入输出中断回调函数的指针。
AVDictionary **options：用于传递其他选项的字典指针。可以设置 NULL 以忽略其他选项。

avformat_write_header 是用于写入文件头信息的函数，它的输入参数包括：

AVFormatContext *s：指向 AVFormatContext 结构体的指针，表示待写入文件的格式上下文。
AVDictionary **options：用于传递其他选项的字典指针。可以设置 NULL 以忽略其他选项。

这些函数用于打开输入输出数据流和写入文件头信息时，需要通过传入一些参数来配置打开的流和文件的属性和选项。avio_open2 是用于打开一个输入输出数据流的函数，它的输入参数包括：

ret = avio_open2(&oFormatCtx->pb, dst, AVIO_FLAG_WRITE, nullptr, nullptr);
if (ret < 0) {av_log(nullptr, AV_LOG_ERROR, "Failed to open output file: %s\n", dst);goto _ERROR;
}
ret = avformat_write_header(oFormatCtx, nullptr);
if (ret < 0) {av_log(nullptr, AV_LOG_ERROR, "Failed to write output file header\n");goto _ERROR;
}

读取、转换并写入帧数据

读取输入文件的视频帧，转换时间戳，并使用av_interleaved_write_frame写入输出文件。
av_interleaved_write_frame函数是FFmpeg库中的一个函数，用于将音视频数据包写入容器文件。

函数的参数如下：

AVFormatContext *s: AVFormatContext结构体指针，表示容器格式上下文，用于管理容器格式相关的信息。
AVPacket *pkt: AVPacket结构体指针，表示音视频数据包，包含音视频数据以及相关的参数信息。

函数的返回值为整形，表示函数的执行结果。如果返回值为0，则表示成功写入数据包；如果返回值为负值，则表示写入失败。

注意：在调用av_interleaved_write_frame函数之前，需要先调用avformat_write_header函数来写入容器文件的头部信息；在所有音视频数据包写入完成后，还需要调用av_write_trailer函数来写入容器文件的尾部信息。

此外，av_interleaved_write_frame函数只能用于写入已经交错存储的音视频数据包，如果数据包未经过交错处理，则需要使用av_write_frame函数来分别写入音频数据包和视频数据包。av_interleaved_write_frame函数是FFmpeg库中的一个函数，用于将音视频数据包写入容器文件。

while (av_read_frame(pFormatCtx, &pkt) >= 0) {if (pkt.stream_index == ret) {// 转换时间戳等pkt.pts = av_rescale_q_rnd(pkt.pts, inSteam->time_base, outStream->time_base, AV_ROUND_NEAR_INF);pkt.dts = av_rescale_q_rnd(pkt.dts, inSteam->time_base, outStream->time_base, AV_ROUND_NEAR_INF);pkt.duration = av_rescale_q(pkt.duration, inSteam->time_base, outStream->time_base);// 写入帧数据av_interleaved_write_frame(oFormatCtx, &pkt);}av_packet_unref(&pkt);
}

写入尾信息并释放资源

使用av_write_trailer写入文件尾信息，并释放所有资源。
函数av_write_trailer的参数是AVFormatContext。

AVFormatContext是一个存储了整个音视频文件信息的结构体，包含了音视频流、容器格式信息以及封装器相关的信息。

av_write_trailer函数的功能是将容器头信息写入到输出文件中，并完成文件封装的最后步骤。具体而言，它会将封装器中剩余的音视频数据写入到输出文件中，并更新容器头的相关信息，如文件大小、时长等。

在调用av_write_trailer函数之前，需要保证所有的音视频数据已经被写入到容器中，否则可能会导致文件不完整或者损坏。

调用av_write_trailer函数之后，应释放AVFormatContext相关的资源，包括关闭文件和释放相关的内存。

示例代码如下：

AVFormatContext* outputContext = nullptr;
// 初始化outputContext的代码
// ...
// 写入所有音视频数据到容器
// ...
av_write_trailer(outputContext);
// 释放相关资源
avformat_close_input(&outputContext);
avformat_free_context(outputContext);

函数av_write_trailer的参数是AVFormatContext。