PCIe协议之RCB、MPS、MRRS详解

✨前言：

PCIe总线的存储器写请求、存储器读完成等TLP中含有数据负载，即Data Payload。Data Payload的长度和MPS（Max Payload Size）、MRRS（Max Read Request Size）和RCB（Read Completion Boundary）相关。

✨一、RCB介绍

🌟1.1 什么是RCB？

RCB（Read Completion Boundary）是PCI Express（PCIe）总线中定义的一个参数，它指定了在完成PCIe内存读取请求时可以返回的数据包的最大对齐字节边界。RCB的值通常可配置为64字节或128字节。
这个参数的作用是确保读取响应（Completion）数据包中包含的数据不会跨过特定的对齐边界。简而言之，RCB定义了数据包中的数据应该如何在一个或多个连续的PCIe包中被分割传输，以便于数据的处理和高效率的内存访问。
RCB的设置在系统性能优化中很重要，因为它影响着数据在PCIe接口上传输的效率。合适的RCB设置可以帮助减少延迟和提升带宽的利用率，从而提高整个系统的性能

🌟1.2 RCB配置

在PCIe规范中，RCB主要有两个可选的大小：64字节和128字节。**RC 的 RCB 可以为 64B 或 128B，默认 64 B；EP、Bridge、Switch 等其他设备的 RCB 只能为 128 B。**这意味着当设备完成读请求时，返回的数据包大小不超过设置的RCB值。选择适合系统需求的RCB大小，可以在保证数据传输稳定性的同时，优化系统性能。
64字节RCB：较小的RCB设置会导致更频繁的数据包传输，这在某些情况下可能提高小数据块传输的效率。例如，对于一些需要低延迟的应用，较小的数据包可能意味着更快的响应时间。
128字节RCB：较大的RCB设置减少了数据包传输的频率，有利于大量数据的传输效率。在数据吞吐量要求较高的应用场合，较大的RCB可以减少系统的总体开销，提高数据传输速度。

🌟1.3 RCB的应用

当主机或设备在PCI Express (PCIe) 总线上发出一笔Memory Read请求（MRd）时，目标设备或内存控制器需要按照相应的规则进行处理，并生成一个或多个完整的响应（Completion，Cpl）。为了满足RCB（Read Completion Boundary）规则，返回的数据可能需要被拆分成多个CplD（Completion with Data）数据包。这里是一个简化的步骤说明，展示满足RCB规则的Completion响应策略：

步骤 1: 分析MRd请求 设备首先分析MRd请求，获取以下信息： 读取的起始地址（Address） 读取的数据长度（Length）
请求者的ID和Tag，以便之后能将完成数据与请求正确匹配 步骤 2: 检查RCB设置
确认当前系统设置的RCB值（通常是64或128字节），这将影响拆分策略。 步骤 3: 计算是否跨越RCB边界
检查请求读取是否会跨越RCB边界。例如，如果RCB是64字节，确保读取操作不会在一个64字节的对齐边界开始，并在另一个64字节的对齐边界结束，而是在RCB定义的同一个边界内完成。
步骤 4: 拆分完成数据
如果MRd请求的长度过长，使得数据不能在一个CplD中返回，或者读取操作跨越了RCB边界，那么目标设备需要将数据拆分成几个CplD数据包。每个数据包都需要：
遵守MPS（Max Payload Size）的限制 确保CplD中的数据不会跨越RCB边界 遵循系统内存及对齐规则 步骤 5:
构建CplD数据包 为每一段数据构建CplD数据包，包括必要的头部信息，如请求者ID、Tag、完成状态、Byte
Count等，并将实际数据附加到数据包中。 步骤 6: 发送CplD数据包
依次发送所有CplD数据包，包括可能因RCB而被拆分的多个数据段。 步骤 7: 等待所有CplD被确认
请求方接收到所有的CplD数据包，并确认数据是否完整和正确。
通过以上步骤，一个MRd请求得到满足RCB规则的Completion响应。这种拆分策略有助于维持PCIe系统的稳定性和数据完整性，同时也确保了数据在不同的设备间能够高效地传输。这个过程有时也可以由硬件逻辑自动完成，无需软件参与。

🌟1.4 举例说明：

示例1：地址对齐，RCB=64

请求：地址0x10000（64对齐），长度C0h（192字节）。
可能的完成包组合：
192字节（单包）：覆盖3个完整的64字节块。
128+64：覆盖前两个64字节块（128字节）和一个单独块（64字节）。
64+128：覆盖一个块（64字节）和后两个块（128字节）。
64+64+64：三个独立的64字节块。
关键：所有包的起始地址对齐64，且总长度覆盖192字节。

示例2：地址对齐，RCB=128

请求：地址0x10000（128对齐），长度C0h（192字节）。
可能的完成包组合：
192字节（单包）：允许（若设备支持大于128字节的包）。
128+64：覆盖前128字节（1个块）和剩余64字节（部分块，但起始地址对齐128）。
关键：完成包起始地址必须对齐128，但允许最后一个包小于RCB。

示例3：地址未对齐，RCB=64

请求：地址0x10020（未对齐64），长度100h（256字节）。
拆分逻辑：
第一个包：覆盖未对齐部分（32字节，地址0x10020到0x1003F）。
剩余部分：起始地址0x10040（对齐64），需按64字节块拆分。
可能的组合：
32+224：32字节（未对齐部分） + 224字节（起始对齐）。
32+64+160：32 + 64（对齐块） + 160（后续对齐块）。
其他组合需满足起始地址对齐，如32+64+64+64+32或32+128+96。
关键：首个包处理未对齐部分，后续包按RCB对齐拆分。

示例4：Endpoint的完成包拆分

请求：地址0x10020，长度100h（256字节）。
可能的组合：
256字节（单包）：若Endpoint支持。
96+160：96字节（覆盖未对齐部分0x10020-0x1007F） + 160字节（对齐部分）。
96+128+32：96（未对齐） + 128（对齐块） + 32（剩余部分）。
关键：Endpoint可能更灵活，但起始地址仍需对齐RCB。

✨二、MPS介绍

🌟2.1 什么是MPS？

MPS（Max Payload Size）表示TLP报文中数据负载的长度。PCIe总线规MPS的最大值为4KB，但PCIe设备并不一定都能够按照最大长度发送数据负载。因此实际使用的MPS由链路两端的设备Function协商决定。当发送的数据长度超过MPS时，这段数据会被分割成多个TLP报文发送，若接收的TLP报文数据负载超过MPS，则接收端会认为这是一个非法的TLP。对于存储器读完成TLP报文，数据负载的长度也不能超过MPS，如果超过MPS，则需要发送多个读完成报文，同时也要满足RCB的要求。

在PCIe配置空间中，有两个寄存器，Device Capabilities记录的是PCIe Function的MPS能力，Device Control寄存器可以配置MPS的大小


Max_Payload_Size Supported的值和MPS对应关下如下：

🌟2.2 不同的MPS的作用

📌MPS的大小在系统初始化或配置时设定，通常可以从128字节到4096字节不等。不同大小的MPS对PCIe系统的性能有不同的影响，主要体现在以下几个方面：

提高数据传输效率
较大的MPS可以减少为传输相同数据量需要的TLP数量，因此可以减少交易层包的开销（如头部、确认等），从而提高数据传输的整体效率。例如，当传输大量数据时，使用较大的MPS可以减少总线事务次数，并且由于每次事务都有相对固定的开销，因此更大的MPS通常意味着更高的吞吐率。

降低延迟
小的MPS意味着数据包快速完成，这可能对于延迟敏感的应用非常关键，如实时系统或某些互动游戏。较小的数据包可以更快地被处理和确认，从而降低了数据传输的延迟。

兼容性
在多个设备连接的PCIe网络中，MPS的大小必须在所有设备之间进行协调，因此需要选择一个所有设备都支持的MPS值。选择过大的MPS可能会引起兼容性问题，因为不是所有设备都能处理大尺寸的数据包。

资源利用
较大的MPS可能需要更多的系统内存和缓存来缓存数据包，这对较小的或资源受限的系统可能是一个问题。相反，小的MPS则可能允许系统更节省地使用内存资源。

系统性能平衡
较大的MPS可能有助于实现更高的数据吞吐率，但如果总线或设备负载较重，大的数据包可能导致队列延迟增加。因此，根据系统的特定需求和工作负载，可能需要调整MPS以实现性能和响应时间之间的最佳平衡。

流量控制
大尺寸的MPS可能导致部分设备在短时间内被大量数据所淹没，这就需要更精细的流量控制机制。较小的MPS可以让流量控制更为灵活，减少因缓冲区溢出而导致的传输延迟或中断。
综上所述，MPS的不同大小直接影响数据在PCIe总线上传输的方式，以及系统性能的多个方面。因此，选择合适的MPS值非常重要，需要充分考虑系统的设计、工作负载类型和设备能力。

✨三、MRRS介绍

🌟3.1 什么是MRRS？

MRRS（Max Read Request Size）参数决定了PCIe设备Function使用存储器读请求，一次能从目标设备读取多少数据，即PCIe设备Function的读请求TLP中的Lewngth字段不能超过MRRS。若PCIe设备Function使用存储器读请求读取的数据长度超过了MRRS，则需要发送多个存储器读请求TLP。PCIe总线规定MRRS最大值为4KB，通常情况下PCIe设备Function的MRRS都会小于这个值。

在PCIe设备配置空间中，PCI Express Capability Structure的Device Control寄存器用于设置MRRS。对于多Function的PCIe设备，每个Function的MRRS可能不同。若PCIe设备Function的Max_Read_Request_Size固定为128字节，则Max_Read_Request_Size位域可实现为只读，且值为000b。

MRRS对照如下

🌟3.2 MRRS作用

📌在PCI Express (PCIe) 架构中，MRRS（Max Read Request Size）是指设备在发出单个读请求（MemoryRead TLP）时所能请求的最大数据量。
与MPS（Max PayloadSize）相似，MRRS也是在系统初始化或配置时设定的，并且通常也可以从128字节到4096字节不等。
不同大小的MRRS会对PCIe系统的性能产生以下影响： 提升带宽利用率
较大的MRRS值允许发出读请求的设备一次性请求更多的数据，这在读取大块数据时提高了带宽利用率。如果设备需要连续的大量数据，较大的MRRS可以减少所需的总请求次数，从而减少请求的开销并提高效率。

降低延迟
对于需要频繁访问但数据量较小的应用，较小的MRRS可能更有利。小的MRRS可以减少在任何给定时间内未完成请求的数量，因此可以在高负载系统中降低延迟。这对于延迟敏感的任务很关键。

提高系统响应性
MRRS较小可以使系统更快地响应各种大小的读取请求，尤其是在多任务环境中，可以帮助平衡不同设备之间的响应时间，从而提高整体系统的响应性。

缓存和内存管理
大的MRRS值可能需要更多的缓存空间和内存资源来处理单个较大的数据请求。对于资源有限的系统，较大的MRRS可能会造成资源压力。而较小的MRRS可帮助系统优化内存和缓存的使用。

流量控制
系统需适当处理较大的MRRS请求，否则可能会造成数据包占有总线时间过长，导致其他设备无法及时发送或接收数据。因此，大的MRRS可能需要更精细的流量控制策略。

兼容性问题
在多设备环境中，MRRS需要在所有设备间有良好的协调性。如果一台设备具备较大的MRRS而另一台设备不支持，就可能导致兼容性问题，因为不是所有设备都能处理或响应大尺寸的数据请求。

系统性能平衡
正确的MRRS设置可以帮助平衡传输效率与系统响应性之间的关系。系统设计师需要根据具体的应用工作负载和系统的硬件能力来确定最合适的MRRS大小。

✨四、MPS、MRRS的修改

这里主要拿Linux举例
我们先用lspci 查看当前这个RC的MPS和MRRS

⚠️注意：这里的能力寄存器显示MaxPayload最大只能到512bytes，所有这里配置512以上也是没有用的。
然后我们Device Control Register的偏移为0x8，这里的基地址是0x70，所以这里我们偏移就是0x78。这里我们修改的MPS为128bytes，这里修改的就是寄存器的bit5-7，所以这里就是0x10。修改完可以retrain一下link，让EP和RC协商到一致的MPS。

这里看到MPS就已经修改为128bytes了，MRRS的修改方式也是一样，只是修改的bit位不一样，MRRS为bit12-14。