音视频入门基础：RTP专题（16）——RTP封装音频时，音频的有效载荷结构

一、引言

《RFC 3640》和《RFC 6416》分别定义了两种对MPEG-4流的RTP封包方式，这两个文档都可以从RFC官网下载：» RFC Editor

本文主要对《RFC 3640》中的音频打包方式进行简介。《RFC 3640》总共有43页，本文下面所说的“页数”是指在pdf阅读器中显示的页数： 

二、MPEG Access Units

根据《RFC 3640》第5页，为了传输压缩后的音视频数据，MPEG定义了Access Units（访问单元）。MPEG Access Units（简称AU）是计时信息的最小数据实体。就音频而言，一个AU可代表一个音频帧，就视频而言，一个AU可代表一幅图像。根据定义，MPEG Access Units是八位对齐的。例如，如果音频帧不是八进制对齐的，则必须在帧末插入多达 7个零的填充位，以实现MPEG-4规范要求的八进制对齐的AU。
MPEG-4解码器必须能够解码使用了这种填充的AU。与MPEG-4规范一致，《RFC 3640》要求每个 MPEG-4第2部分视频的AU包括图像的所有编码数据、编码图像数据之前的任何视频流标题以及其后的任何视频流填充，直至但不包括表示新视频流或下一个AU开始的开始码：

三、有效载荷格式的全局结构

根据《RFC 3640》第9页，RTP Header之后的RTP payload包含三个八位对齐的数据部分，其中前两个（AU Header Section和Auxiliary Section）可能为空，如下图所示。

第一部分是AU (Access Unit) Header Section，包含一个或多个AU-header；但是，每个AU-header可以是空的，在这种情况下，整个AU Header Section都是空的。

第二部分是Auxiliary Section（辅助部分），包含辅助数据；该部分也可以配置为空。

第三部分是Access Unit Data Section，包含一个Access Unit的单个片段或一个或多个完整的Access Unit。Access Unit Data Section不得为空：

四、AU Header Section

根据《RFC 3640》第11页，出现时，AU Header Section由AU-headers-length字段和若干AU-header组成，如下图所示。

AU-header使用MIME格式参数配置，可以为空。如果AU-header配置为空，则AU-headers-length字段不应存在，因此AU Header Section为空。如果AU-header未配置为空，则AU报头长度（AU-headers-length）是占两个字节的字段，用于指定紧随其后的AU-header（不包括填充位）的长度（以比特为单位）。

每个AU-header都与同一RTP数据包中Access Unit Data Section所含的single Access Unit (fragment)相关联。在AU-header中，AU-header按照 Access Unit Data Section中包含Access Unit的顺序逐位连接。因此，第n个AU-header指的是第n个 AU（片段）。如果连接的 AU-header占用的八进制数不是整数，则必须在末尾插入最多7个零填充位，以实现 AU Header部分的八进制对齐：

五、AU-header

根据《RFC 3640》第12页，每个AU-header可包含下图所示的字段。除CTS-flag、DTS-flag和RAP-flag字段外，其他字段的比特长度由MIME格式参数定义。如果MIME格式参数的默认值为零，则不存在相关字段。对于存在且表示参数值的字段，必须选择足够大的比特数，以正确编码会话期间该参数的最大值。

如果存在，这些字段必须按照下图所示的顺序出现。在一般情况下，由于CTS-delta和DTS-delta 字段的是否存在分别由CTS-flag和DTS-flag的值指示，因此接收方只能通过解析AU-header来发现 AU-header的大小。

如果被使用，AU-header中的AU-Index字段只出现在AU Header Section中的第一个AU-header中；在任何其他 AU-header中，则使用AU-Index-delta字段：

其中：

AU-size： 该字段表示同一RTP数据包中Access Unit Data Section中相关Access Unit的大小（以八位字节为单位）。当 AU-size与 AU fragment（AU片段）相关联时，AU-size表示整个AU的大小，而不是片段的大小。在这种情况下，片段的大小可以通过AU data section的大小得知。可以利用这一点来确定数据包包含的是整个AU还是片段，这在丢失携带AU最后一个片段的数据包后特别有用：

AU-Index：该字段表示相关Access Unit（片段）的序列号。对于每个（按解码顺序）连续的AU 或AU片段，序列号都递增1。AU-Index字段出现在AU Header Section的第一个AU-header中，但不得出现在该Section的任何后续（非第一个）AU-header中。要对任何此类非第一个 AU-header中的序列号进行编码，应使用AU-Index-delta字段：

AU-Index-delta：该字段是一个无符号整数，用于指定相关AU的序列号与前一个接入单元序列号的差值。因此，对于第n个（n>1）AU，序列号的计算公式为：

AU-Index(n) = AU-Index(n-1) + AU-Index-delta(n) + 1

如果AU-Index字段出现在AU Header Section的第一个AU-header中，则AU-Index-delta字段必须出现在任何后续（非第一个）AU-header中。当AU-Index-delta的编码值为0时，表示Access Units在解码顺序上是连续的。如果 AU-Index-delta 值大于0，则表示应用了交错：

CTS-flag：该字段表示是否存在CTS-delta字段。值为1表示存在该字段，值为0表示不存在。如果 CTS-delta字段的信号长度大于零，则每个AU-header中必须有CTS-flag字段。在这种情况下，CTS-flag字段在第一个AU-header中的值必须为0，在所有非第一个AU-header中的值可以为1。对于Access Unit的任何非第一片段，CTS-flag字段应为0：

CTS-delta：该字段将CTS的值指定为该RTP数据包RTP header中时间戳的2的补码偏移（delta），从而对CTS进行编码。CTS必须使用与RTP header中时间戳相同的时钟速率：

DTS-flag：表示是否存在DTS-delta字段。值为1表示存在DTS-delta，值为0表示不存在。如果 DTS-delta字段的长度信号大于零，则 DTS-flag字段必须出现在每个AU-header中。一个Access Unit的所有片段的 DTS-flag字段必须具有相同的值：

DTS-delta：该字段将DTS的值指定为CTS的2的补码偏移（delta）。DTS必须使用与RTP header中时间戳相同的时钟速率。对于Access Unit的所有片段，DTS-delta字段必须具有相同的值：

RAP-flag：该字段设置为1时，表示相关的Access Unit为数据流内容提供了一个随机访问点。如果访问单元是分片的，则RAP flag（如果存在）必须为AU的每个非第一分片设置 0：

Stream-state：指定MPEG-4系统流的AU的流状态；每个状态由一个模数计数器的值标识。在 《ISO/IEC 14496-1》中，MPEG-4系统流使用AU_SequenceNumber来表示流状态。当流状态改变时，流状态的值必须递增 1。
 注意：不同流的流状态之间不需要任何关系：

六、The Auxiliary Section

根据《RFC 3640》第14页，Auxiliary Section（辅助部分）由auxiliary-data-size字段和auxiliary-data（辅助数据）字段组成。接收者可以（但不要求）解析auxiliary-data字段；为便于接收者跳过auxiliary-data字段，auxiliary-data-size字段表示auxiliary-data的长度（以比特为单位）。如果 “auxiliary-data-size ”和 “auxiliary-data”字段的连接占用的八进制数不是整数，则必须在auxiliary data后插入最多 7个零填充位，以实现八进制对齐，见下图：

auxiliary-data-size字段的位数可以通过MIME格式参数配置。默认长度为0表示整个Auxiliary Section（辅助段）都不存在。
auxiliary-data-size字段指定紧随其后的auxiliary-data字段的长度，以位（bit）为单位；auxiliary-data（辅助数据）字段包含的数据格式不是《RFC 3640》规范定义的。

七、Access Unit Data Section

根据《RFC 3640》第15页，Access Unit Data Section（访问单元数据节）包含完整的Access Unit（访问单元）的整数或一个AU的单个片段。Access Unit Data Section绝不是空的。如果存在多个Access Unit的数据，则将AU连接成一个连续的八位字节字符串。参见下图。Access Unit Data Section内的AU必须按解码顺序排列，但在交错的情况下不一定是连续的。

应该调整Access Unit的大小和数量，使生成的RTP包不大于途径的MTU。为了处理较大的数据包，这种有效负载格式依赖于较低的分片层，这可能会导致性能降低：

当携带多个Access Unit时，每个AU的大小必须提供给接收器。如果AU的大小是可变的，那么每个AU的大小必须在相应AU-header的AU-size字段中显示。但是，如果流的AU大小是恒定的，则不应该使用该机制；相反，固定大小应该通过MIME格式参数“constantSize”来表示。