WebRTC服务质量(11)- Pacer机制(03) IntervalBudget
WebRTC服务质量(01)- Qos概述
WebRTC服务质量(02)- RTP协议
WebRTC服务质量(03)- RTCP协议
WebRTC服务质量(04)- 重传机制(01) RTX NACK概述
WebRTC服务质量(05)- 重传机制(02) NACK判断丢包
WebRTC服务质量(06)- 重传机制(03) NACK找到真正的丢包
WebRTC服务质量(07)- 重传机制(04) 接收NACK消息
WebRTC服务质量(08)- 重传机制(05) RTX机制
WebRTC服务质量(09)- Pacer机制(01) 流程概述
WebRTC服务质量(10)- Pacer机制(02) RoundRobinPacketQueue
WebRTC服务质量(11)- Pacer机制(03) IntervalBudget
WebRTC服务质量(12)- Pacer机制(04) 向Pacer中插入数据
一、前言:
先想想,我们其实已经有了目标码率了,为什么还要控制码率?
因为,我们获取的目标码率是以秒为单位的,比如每秒钟发送300k,这是我们通过webrtc的网络拥塞控制可以获得的。 但是,具体到每个时间分片,我们前面看了pacer是5ms作为一个时间分片,IntervalBudget就是控制每个时间分片内应该发送的数据大小。
二、概念:
IntervalBudget 是 WebRTC 中的一个数据流速率控制工具,目的是在固定时间间隔内,根据目标码率动态管理和分配可以发送的字节数(预算字节)。它类似一个预算系统,平衡上一时间间隔的欠载(underuse)和过载(overuse)情况,确保整体码率维持在目标值,同时允许一定程度的积累和补偿。
详细分主要作用是:
- 维持目标码率(
target_rate_kbps) 根据目标速率(如 300 kbps),动态调整每段时间的字节发送目标。 - 处理过载和欠载 若某次时间片中没有充分利用发送预算,是否允许将未用的预算累积到后续时间片(由
can_build_up_underuse决定)。 - 预算限制 限制过载和欠载的值,最高不能超过特定的预算范围(
max_bytes_in_budget_)。 - 字节消耗管理 随着数据发送,会减少预算,维持运行中实时的发送和控制。
三、类定义:
class IntervalBudget {public:explicit IntervalBudget(int initial_target_rate_kbps);IntervalBudget(int initial_target_rate_kbps, bool can_build_up_underuse);// 用于设置目标码率void set_target_rate_kbps(int target_rate_kbps);// TODO(tschumim): Unify IncreaseBudget and UseBudget to one function.// 用于计算我们这个时间分片,有多少数据可以发送void IncreaseBudget(int64_t delta_time_ms);void UseBudget(size_t bytes);size_t bytes_remaining() const;double budget_ratio() const;int target_rate_kbps() const;private:// 通过带宽评估算法评估出的目标码率(也就是1s内发送多少数据)int target_rate_kbps_;// 在budget中最大可以存放多少字节int64_t max_bytes_in_budget_;// 在一个时间分片内,还有多少数据可以发送int64_t bytes_remaining_;bool can_build_up_underuse_;
};
四、Pacer中两个重要的IntervalBudget:
IntervalBudget media_budget_; // 用于计算可以发送媒体的数据量IntervalBudget padding_budget_; // 用于计算可以发送padding的数据量
五、设置目标码率:
要使用IntervalBudget,就需要先设置目标码率。两种设置目标码率的途径:
- 周期执行
RtpTransportControllerSend::UpdateControllerWithTimeInterval; - 通过收到对方发送来的transport-cc,然后使用
OnTransportPacketsFeedback函数来分析,并更新目标码率;
5.1、调用UpdateControllerWithTimeInterval过程:

红框中的都属于RepeatingTask,进行任务的反复执行。
// 周期执行当前任务
bool RepeatingTaskBase::Run() {// 执行当前任务TimeDelta delay = RunClosure();// ...// 然后再把this打包成任务,放入线程的任务队列当中,之后这个线程又会执行Run,反复如此// delay.ms()是每隔多长时间执行这个任务task_queue_->PostDelayedTask(absl::WrapUnique(this), delay.ms());return false;
}// 在其父类 RepeatingTaskBase 当中会通过Run来执行任务
template <class Closure>
class RepeatingTaskImpl final : public RepeatingTaskBase {public:RepeatingTaskImpl(TaskQueueBase* task_queue,TimeDelta first_delay,Closure&& closure,Clock* clock): RepeatingTaskBase(task_queue, first_delay, clock),closure_(std::forward<Closure>(closure)) {static_assert(std::is_same<TimeDelta, typename std::result_of<decltype (&Closure::operator())(Closure)>::type>::value, "");}private:// 执行当前任务TimeDelta RunClosure() override { return closure_(); }typename std::remove_const<typename std::remove_reference<Closure>::type>::type closure_;
};
5.2、根据Transport-cc执行:
当我们收到transport-cc反馈后,会执行下面函数:
// 每当我们收到transport-cc之后,就会调用下面的方法
void RtpTransportControllerSend::OnTransportFeedback(const rtcp::TransportFeedback& feedback) {feedback_demuxer_.OnTransportFeedback(feedback);auto feedback_time = Timestamp::Millis(clock_->TimeInMilliseconds());// 生成一个匿名函数任务,这个任务当中通过 OnTransportPacketsFeedback 来解析transport-cc中的内容// 解析完这个内容之后,就会计算我们当前的带宽是多少,拿到带宽就可以为budget设置目标码率了// 将返回值(也就是目标码率)传给PostUpdates,这里面会设置给budget目标码率task_queue_.PostTask([this, feedback, feedback_time]() {RTC_DCHECK_RUN_ON(&task_queue_);absl::optional<TransportPacketsFeedback> feedback_msg =transport_feedback_adapter_.ProcessTransportFeedback(feedback, feedback_time);if (feedback_msg && controller_) {PostUpdates(controller_->OnTransportPacketsFeedback(*feedback_msg));}pacer()->UpdateOutstandingData(transport_feedback_adapter_.GetOutstandingData());});
}
就是解析出人家反馈给我们的内容,根据这个计算我们自己的目标码率,并设置给budget;
六、使用media_budget:
看下ProcessPackets如何使用media_budget的:
// 周期处理包的发送
void PacingController::ProcessPackets() {if (mode_ == ProcessMode::kPeriodic) {// 将前面设置给pacer的目标码率设置给media_budgetmedia_budget_.set_target_rate_kbps(target_rate.kbps());UpdateBudgetWithElapsedTime(elapsed_time);} else {media_rate_ = target_rate;}
}
其中,elapsed_time就是逝去的时间,在UpdateBudgetWithElapsedTime当中会使用:
/*** 使用逝去的时间更新media_budget_*/
void PacingController::UpdateBudgetWithElapsedTime(TimeDelta delta) {if (mode_ == ProcessMode::kPeriodic) {// 获取较小者(kMaxProcessingInterval是30ms)delta = std::min(kMaxProcessingInterval, delta);// 将delta时间传给media_budgetmedia_budget_.IncreaseBudget(delta.ms());padding_budget_.IncreaseBudget(delta.ms());} else {media_debt_ -= std::min(media_debt_, media_rate_ * delta);padding_debt_ -= std::min(padding_debt_, padding_rate_ * delta);}
}
再看看传进去IncreaseBudget怎么使用的:
void IntervalBudget::IncreaseBudget(int64_t delta_time_ms) {// target_rate_kbps_是我们之前传入的目标码率// 加入我们现在目标码率target_rate_kbps_是300,delta是10ms,那么bytes约等于300字节,// 也就是说我们接下来这段时间可以发送的数据是300字节int64_t bytes = target_rate_kbps_ * delta_time_ms / 8;if (bytes_remaining_ < 0 || can_build_up_underuse_) {// We overused last interval, compensate this interval.// 这种情况说明过载了(比如上次要求发100,最终发了150,多发了50)// 那么我们就用本次应该发送的数据量减去(因为bytes_remaining_为负数,下面看着是加)上次多出来的50,就是本次要发送的// 当然如果大于我们budget可以发送的最大值max_bytes_in_budget_,那么,只能允许发送max_bytes_in_budget_bytes_remaining_ = std::min(bytes_remaining_ + bytes, max_bytes_in_budget_);} else {// If we underused last interval we can't use it this interval.// 如果没有过载,使用当前计算的结果bytes_remaining_ = std::min(bytes, max_bytes_in_budget_);}
}
我尝试再好好解释下:
IncreaseBudget 增加新的字节预算,用于下一时间片发送。
核心逻辑:
-
计算新增预算字节:
bytes = target_rate_kbps_ * delta_time_ms / 8此预算决定时间间隔
delta_time_ms内允许发送的字节数。 -
判断是否存在欠载积累(
bytes_remaining_为负值),以及是否允许保留欠载(can_build_up_underuse_)。两种情况:- 允许欠载/欠载存在:补偿上一次过载,同时加入当前新增预算,更新剩余字节。
- 不允许欠载/无欠载:仅允许当前时间段的预算。
-
使用
std::min()限制最终预算,确保预算总值不超过max_bytes_in_budget_。
示例:
-
目标码率:300 kbps,时间段:10 ms:
bytes = 300 * 10 / 8 = 375 字节 -
欠载情况:假设
bytes_remaining_ = -100且can_build_up_underuse = true:bytes_remaining_ = min(-100 + 375, max_bytes_in_budget_)= min(275, 375)= 275 字节 -
正常情况:没有欠载,直接按当前时间段计算:
bytes_remaining_ = min(375, 375) = 375 字节
七、总结:
本文主要介绍了Pacer模块中怎么根据目标码率,然后通过IntervalBudget来完成动态调整每段时间的字节预算,使整体码率稳定在设计的目标值附近,同时平衡欠载和过载的情况。
相关文章:
WebRTC服务质量(11)- Pacer机制(03) IntervalBudget
WebRTC服务质量(01)- Qos概述 WebRTC服务质量(02)- RTP协议 WebRTC服务质量(03)- RTCP协议 WebRTC服务质量(04)- 重传机制(01) RTX NACK概述 WebRTC服务质量(…...
.NET常用的ORM框架及性能优劣分析总结
市面上有很多流行的 ORM(对象关系映射)框架可以用于 .NET 开发。本文主要针对以下几种常见的 ORM 框架,对其优劣进行分析及总结,希望能够帮助大家进行ORM框架的使用有所帮助。 1. Entity Framework (EF) 特点 • 官方支持&…...
Ubuntu网络配置(桥接模式, nat模式, host主机模式)
windows上安装了vmware虚拟机, vmware虚拟机上运行着ubuntu系统。windows与虚拟机可以通过三种方式进行通信。分别是桥接模式;nat模式;host模式 一、桥接模式 所谓桥接模式,也就是虚拟机与宿主机处于同一个网段, 宿主机…...
光通信复习
第一章 1.5 光纤通信系统的基本组成是怎么样的?试画出简图予以说明 光纤:主要负责光信号的传输光发送器:将用户端的电信号转化为光信号,入射到光纤内部光中继器:将光纤中发生衰减和畸变的光信号变成没有衰减和畸变的原…...
数字化转型中的投资决策:IT平台投资与业务应用投资的思考
在数字化转型的大潮中,企业常常面临一个核心问题:如何在繁杂的投资决策中精准地分配资源,特别是在IT平台投资和业务应用投资之间,如何合理划分责任与投入?在一些大型企业中,尤其是华为,针对不同…...
Linux快速入门-Linux的常用命令
Linux的常用命令 1. Linux的终端与工作区1.1 终端概述1.2 切换终端 2. Shell语言解释器2.1 Shell概述 3. 用户登录与身份切换3.1 su 命令3.2 sudo 命令 4. 文件、目录操作命令4.1 pwd 命令4.2 cd 命令4.3 ls 命令4.3.1 ls 指令叠加使用 4.4 mkdir 命令4.5 rmdir 命令4.6 cp 命令…...
【ORB-SLAM3:相机针孔模型和相机K8模型】
在ORB-SLAM3中,相机的建模是 SLAM 系统的核心之一,因为它直接影响到如何处理和利用图像数据进行定位和地图构建。ORB-SLAM3 支持不同的相机模型,其中包括针孔模型和鱼眼模型(K8 模型)。下面分别介绍这两种模型。 相机…...
Python函数(十二):函数的创建和调用、参数传递、返回值
前言:在编程的世界里,函数是一种基本的构建块,它允许我们将代码封装成可重复使用的单元。在Python中,函数的使用尤为重要,因为它不仅有助于代码的模块化,还提高了代码的可读性和可维护性。本章节࿰…...
掌握Docker命令与Dockerfile实战技巧:快速构建高效容器化应用
1. 介绍 Docker 是现代开发和运维的必备工具,集成了容器技术的优势。本文将记录 Docker 的常用指令,并会随着使用经验的积累进行不定期更新。 2. 常用命令 2.1 启动容器(前台交互模式) docker run --privileged --volume /hom…...
Virtualbox硬盘扩容
前言 有没有使用虚拟机安装操作系统的时候,虚拟硬盘一开始分配的虚拟硬盘空间不够用?在后期去扩容的伙伴们,下面我看看如何扩容virtualbox的虚拟硬盘? 重新分配虚拟硬盘大小 在virtualbox菜单选择【管理】-【工具】-【虚拟介质…...
10G光纤反射内存卡
在科技日新月异的今天,数据存储技术正以前所未有的速度发展,其中,“10G光纤反射内存卡”作为新一代存储技术的佼佼者,正逐步引领着数据存储领域的新风尚。本文将深入探讨这一创新产品的技术原理、性能优势、应用场景以及未来展望&…...
信创数据防泄漏中信创沙箱是什么样的安全方案
在信息化与工业化融合创新(信创)的快速发展中,企业面临着日益复杂的数据安全挑战。SDC沙盒技术以其独特的安全机制和先进的设计理念,为信创环境提供了强有力的数据保护支持。以下是SDC沙盒在信创领域支持能力的几个关键侧重点&…...
虚幻引擎结构之TArray
1.TArray 简介 TArray 是虚幻引擎提供的一个动态数组容器,用于存储相同类型的元素集合。它是一个模板类,能够容纳任意类型的数据,为用户提供了一套简便的方法来添加、删除、访问和操作数组中的元素。作为虚幻引擎的核心数据结构之一ÿ…...
【搭建一个网上商城系统】
搭建一个网上商城系统是一个复杂但有序的过程,涉及多个关键步骤。以下是一些主要的步骤: 确定运营模式 选择适合的模式:根据企业的规模、业务形态和目标市场,选择合适的电商平台运营模式,如B2C(商对客&am…...
【gopher的java学习笔记】Spring Boot Starter初探
转到java这边后,这天需要搭一个java的web service出来,如果是以前golang的话,那我就可以非常熟练的用gin搭建一个web service出来,核心逻辑就是写好一些rest接口实现后再加上最为灵魂的一句: // 启动Gin服务器在8080端…...
web服务器之云主机、物理机租用、服务器托管的区别
云主机、物理机租用和服务器托管是三种不同的Web服务器部署方式,它们各有特点,适用于不同需求的用户。以下是这三种服务的区别: 云主机(Cloud Hosting): 资源分配:基于虚拟化技术,多…...
centos制作离线安装包
目录 1.yumdownloader与repotrack怎么选择? yumdownloader --resolve repotrack 总结 2.环境准备 3.安装 1.yumdownloader与repotrack怎么选择? yumdownloader --resolve 和 repotrack 都是与 YUM(Yellowdog Updater Modified…...
论文解读——掌纹生成网络 RPG-Palm升级版PCE-Palm
该文章是2023年论文RPG-Palm的升级版 论文:PCE-Palm: Palm Crease Energy Based Two-Stage Realistic Pseudo-Palmprint Generation 作者:Jin, Jianlong and Shen, Lei and Zhang, Ruixin and Zhao, Chenglong and Jin, Ge and Zhang, Jingyun and Ding,…...
Android修行手册 - 移动端几种常用动画方案对比
Unity3D特效百例案例项目实战源码Android-Unity实战问题汇总游戏脚本-辅助自动化Android控件全解手册再战Android系列Scratch编程案例软考全系列Unity3D学习专栏蓝桥系列ChatGPT和AIGC 👉关于作者 专注于Android/Unity和各种游戏开发技巧,以及各种资源分…...
16 循环语句——for循环
#字符串是可以进行迭代的 for 循环: for 变量 in 可迭代的东西: 代码 把可迭代的东西中的每一项内容拿出来,挨个的赋值给变量,每一次的赋值都要执行一次循环体(代码) s "你好呀,我叫赛利…...
51c自动驾驶~合集58
我自己的原文哦~ https://blog.51cto.com/whaosoft/13967107 #CCA-Attention 全局池化局部保留,CCA-Attention为LLM长文本建模带来突破性进展 琶洲实验室、华南理工大学联合推出关键上下文感知注意力机制(CCA-Attention),…...
【OSG学习笔记】Day 18: 碰撞检测与物理交互
物理引擎(Physics Engine) 物理引擎 是一种通过计算机模拟物理规律(如力学、碰撞、重力、流体动力学等)的软件工具或库。 它的核心目标是在虚拟环境中逼真地模拟物体的运动和交互,广泛应用于 游戏开发、动画制作、虚…...
SciencePlots——绘制论文中的图片
文章目录 安装一、风格二、1 资源 安装 # 安装最新版 pip install githttps://github.com/garrettj403/SciencePlots.git# 安装稳定版 pip install SciencePlots一、风格 简单好用的深度学习论文绘图专用工具包–Science Plot 二、 1 资源 论文绘图神器来了:一行…...
MVC 数据库
MVC 数据库 引言 在软件开发领域,Model-View-Controller(MVC)是一种流行的软件架构模式,它将应用程序分为三个核心组件:模型(Model)、视图(View)和控制器(Controller)。这种模式有助于提高代码的可维护性和可扩展性。本文将深入探讨MVC架构与数据库之间的关系,以…...
macOS多出来了:Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用
文章目录 问题现象问题原因解决办法 问题现象 macOS启动台(Launchpad)多出来了:Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用。 问题原因 很明显,都是Google家的办公全家桶。这些应用并不是通过独立安装的…...
解决本地部署 SmolVLM2 大语言模型运行 flash-attn 报错
出现的问题 安装 flash-attn 会一直卡在 build 那一步或者运行报错 解决办法 是因为你安装的 flash-attn 版本没有对应上,所以报错,到 https://github.com/Dao-AILab/flash-attention/releases 下载对应版本,cu、torch、cp 的版本一定要对…...
大模型多显卡多服务器并行计算方法与实践指南
一、分布式训练概述 大规模语言模型的训练通常需要分布式计算技术,以解决单机资源不足的问题。分布式训练主要分为两种模式: 数据并行:将数据分片到不同设备,每个设备拥有完整的模型副本 模型并行:将模型分割到不同设备,每个设备处理部分模型计算 现代大模型训练通常结合…...
站群服务器的应用场景都有哪些?
站群服务器主要是为了多个网站的托管和管理所设计的,可以通过集中管理和高效资源的分配,来支持多个独立的网站同时运行,让每一个网站都可以分配到独立的IP地址,避免出现IP关联的风险,用户还可以通过控制面板进行管理功…...
DiscuzX3.5发帖json api
参考文章:PHP实现独立Discuz站外发帖(直连操作数据库)_discuz 发帖api-CSDN博客 简单改造了一下,适配我自己的需求 有一个站点存在多个采集站,我想通过主站拿标题,采集站拿内容 使用到的sql如下 CREATE TABLE pre_forum_post_…...
Spring Boot + MyBatis 集成支付宝支付流程
Spring Boot MyBatis 集成支付宝支付流程 核心流程 商户系统生成订单调用支付宝创建预支付订单用户跳转支付宝完成支付支付宝异步通知支付结果商户处理支付结果更新订单状态支付宝同步跳转回商户页面 代码实现示例(电脑网站支付) 1. 添加依赖 <!…...
