音视频整体解码流程和同步流程

现在先说大体流程，不分析代码

1. 整体解码流程

1. 初始化 FFmpeg

调用 av_register_all() 和 avformat_network_init() 来初始化 FFmpeg 库。

2. 打开媒体文件

使用 avformat_open_input() 打开媒体文件，并读取媒体流信息。
使用 avformat_find_stream_info() 获取流信息，包括音频流和视频流的数量、类型及相关参数。

3. 查找解码器

遍历找到的媒体流，使用 avcodec_find_decoder() 根据流的编码格式查找合适的解码器（如 H.264、AAC 等）。
调用 avcodec_alloc_context3() 分配解码上下文，并设置相应的参数（如采样率、通道数、宽高等）。

4. 打开解码器

使用 avcodec_open2() 打开解码器，并将解码上下文与解码器关联。

5. 读取和解码数据

使用 av_read_frame() 循环读取媒体数据包。
根据读取的数据包类型（音频或视频）将数据传递给相应的解码器。
调用 avcodec_send_packet() 将数据包发送给解码器。
使用 avcodec_receive_frame() 从解码器接收解码后的帧。

6. 处理解码后的帧

根据解码后的帧的类型（音频帧或视频帧），进行后续处理：
音频帧：可以将音频帧写入音频输出设备进行播放，或者进行进一步的处理（如音频效果、混音等）。
视频帧：可以将视频帧渲染到图形窗口，或进行后续处理（如转码、特效等）。

7. 释放资源

在完成解码后，调用 avcodec_free_context() 和 avformat_close_input() 释放分配的解码器上下文和媒体文件资源。

2. 音视频同步整体流程

1. 解复用媒体流

使用解复用器解码媒体流，分离出来的音频数据包和是视频数据包，分别存在各自的包队列中。
并且解复用时给每个数据包设置 DTS（解码时间戳）
DTS是自己算的，通常情况下，你会基于上一个包的 DTS 和当前包的持续时间来计算当前包的 DTS。

2. 解码

使用av_read_frame() 循环读取数据包，根据DTS时间戳的顺序，分别解码读出来的音频包和视频包。
得到音频帧数据和视频帧数据，放入相应的队列中。
使用ffmpeg解码后，每个帧会附带其 PTS。

怎么让音频和视频的PTS对应？
通过时间基转换，让两者可比较。

PTS：
视频帧的 PTS
帧率：视频的帧率（fps）决定了每秒显示多少帧。如果视频以 30 fps 编码，则每帧的显示时间为 1/30 秒。
音频帧的 PTS
采样率：音频的采样率决定了每秒钟采集多少样本。例如，44100 Hz 表示每秒 44100 个样本。

3. 以音频为时钟源进行音视频同步的策略

缓冲与延迟：在实际应用中，可能需要引入一些缓冲机制，以便平滑处理音视频流。这可以通过 FIFO 队列等方式实现。

动态调整：根据网络条件或系统负载，可能需要动态调整音频和视频的同步策略，以保证平滑播放。

错误处理：也要注意对异常情况的处理，比如丢失帧、网络延迟等，以确保程序的健壮性。

4. 缓冲区设计

1.1 音频和视频缓冲区

• 音频缓冲区：用于存储从音频流读取的数据，确保音频数据在播放时不会因为延迟而中断。通常，音频缓冲区的大小会根据音频的比特率、网络条件和系统性能进行调整。

• 视频缓冲区：用于存储从视频流读取的帧，以便在合适的时间进行显示。视频缓冲区的大小可以设定为能够覆盖一定数量的帧，以应对音频流的变化。

2. 动态缓冲管理

2.1 自适应调整

• 根据实时监测的音视频同步状态（例如，音频播放时间与视频显示时间的差距），动态调整音频和视频缓冲区的大小。例如，当检测到音频延迟时，可以增加视频缓冲区的容量，以保证视频在输出时不会滞后于音频。

2.2 阈值设置

• 设置阈值来判断何时需要调整缓冲区。例如，如果音频和视频之间的时间差超出设定范围，就进行相应的缓冲调整。

3. 音频作为时钟源

3.1 时间戳管理

• 每个音频样本或块都有一个对应的时间戳，系统使用这些时间戳来确定音频的播放进度，并据此决定视频的播放时机。

3.2 视频帧的调度

• 当从音频缓冲区取出数据进行播放时，系统会检查当前的音频时间戳，根据这一时间戳决定是否从视频缓冲区取出下一帧。如果音频播放的时间戳大于等于视频的时间戳，则播放下一帧视频。

4. 处理延迟与不同步

4.1 监测与反馈

• 实时监测音频与视频的同步状态，检测是否存在延迟。一旦发现不同步，可以通过丢弃多余的视频帧或插入静音来进行调整。

4.2 错误修正策略

• 如果检测到音频过早或视频滞后，可以选择：
  • 增加视频缓冲区的大小。
  • 丢弃已缓存的视频帧，或在必要时添加黑帧或静态图像。