RTC 基础
简单的一个框架
一、上行
1.音频
音频采集->3A处理->混合(麦克风+bgm+自定义音频)->编码->fec->打网络包(UDT/QUIC/SRT)->加密->socket发送
2.视频
视频采集->编码->切片->fec->打网络包(UDT/QUIC/SRC)->加密->socket发送
二、下行
1.音频
socket接收->解网络包->解密->送入抗抖动buffer
播放器(播放线程)->获取抗抖动buffer数据包->解码->播放
2.视频
socket接收->解网络包->解密->组视频包->送入抗抖动buffer->送入解码缓存->图片处理->渲染
总结:
音频视频网络部分大致相同，FEC/网络包/加密
在实际场景中，每一个部分都会涉及更多的细节逻辑
比如
1. 编码，音频一般会再opus/aac之间做选择，opus更广泛，更低的编码延迟在实时场景中有更好的表现。视频一般为x264/o264中做选择，但是视频为了获取更好的性能，又会选择硬编硬解，这就又引入了更多的平台相关的技术，更为复杂
2. 因为音视频都是单独传输，接收端又要考虑音画同步问题
3. 视频数据即便是编码压缩后，数据依旧比较大，要考虑加入buffer，做为平滑发送(pacing)的手段
在包括 采集，编解码，网络延迟，播放，每一个部分的延迟都需要纳入考虑范畴
相关文章：
RTC 基础
简单的一个框架 一、上行 1.音频 音频采集->3A处理->混合(麦克风bgm自定义音频)->编码->fec->打网络包(UDT/QUIC/SRT)->加密->socket发送 2.视频 视频采集->编码->切片->fec->打网络包(UDT/QUIC/SRC)->加密->socket发送 二、下行…...
Quaternion插值方法
介绍 unity，四元数Quaternion插值方法介绍 方法 线性插值（Lerp）： 适用范围：适用于需要简单平滑地过渡的情况，比如物体的位置、大小等。 优点：计算简单，效率高。 缺点：不…...
如何配置Stash以便与4EVERLAND一起使用
What is Stash? AppsCode的Stash是一个可靠的工具，用于备份和恢复Kubernetes卷和应用程序。有了Stash，你可以通过定期备份和在数据丢失或系统故障时恢复这些数据来轻松保护你的宝贵数据。Stash功能多样，可用于备份各种Kubernetes资源的数据…...
webpack plugin源码解析(四) HashedModuleIdsPlugin
文章目录作用涉及 webpack API获取chunkGraph获取当前编译过程中被使用过的 module id：compilation.usedModuleIds获取当前编译过程中所有的模块对象：compilation.modules判断 module 是否需要生成 id：module.needId获取指定module 的 module…...
pytorch | 使用vmap对自定义函数进行并行化/ 向量化的执行
0. 参考 pytorch官方文档：https://pytorch.org/docs/stable/generated/torch.func.vmap.html#torch-func-vmap关于if语句如何执行：https://github.com/pytorch/functorch/issues/257 1. 问题背景 笔者现在需要执行如下的功能： root_ls [fu…...
Docker部署RabbitMQ(单机，集群，仲裁队列)
RabbitMQ部署指南 1.单机部署 我们在Centos7虚拟机中使用Docker来安装。 1.1.下载镜像 方式一：在线拉取 docker pull rabbitmq:3-management方式二：从本地加载 在课前资料已经提供了镜像包： 上传到虚拟机中后，使用命令加载镜…...
生活污水处理设备选购指南
生活污水中含有大量的有机物（如蛋白质、碳水化合物、脂肪、尿素、氨氮等）及大量的病原微生物，可导致传染病蔓延流行。因此，生活污水在排放前，需要进行处理。那么如何正确的选择生活污水处理设备呢？ 一、生活…...
奥威BI数据可视化大屏分享|多场景、多风格
数据可视化大屏一般应用在品牌推广展示、商务交流、数据分析决策、数据监控等场景，由此催生出各种不同风格的BI数据可视化大屏设计。下面就从奥威BI软件的BI报表模板中截取几个有着不同风格，起着不同作用的BI数据可视化大屏报表，一起来了解一…...
超越时空：加速预训练语言模型的训练
超越时空：加速预训练语言模型的训练 随着自然语言处理（NLP）领域的快速发展，预训练语言模型（PTLM）已成为许多NLP任务的重要基石，如文本生成、情感分析、文本分类等。然而，传统的PTLM…...
数据库管理系统PostgreSQL部署安装完整教程
PostgreSQL是一个开源的关系型数据库管理系统，它支持大量的数据类型和复杂的查询语言，可以用于各种应用程序。它是一个高性能的数据库，可以处理大量的数据，并且具有良好的可扩展性和可靠性。 目录 一.Linux系统安装PostgresSQL&a…...
有学生问我，重构是什么？我应该如何回答？
重构到底是什么？只是代码的推倒重新编码？还是有规则、有方法可寻？当然，结论肯定是有的，本文，我们通过一个简单的实例，来理解一下重构。 1.借助一个实例需求 这是一个影片出租店用的程序&#…...
交际场合---英文单词
目录 前言原文邀请生日和聚会离别探病婚礼新居落成葬礼聚会相关单词婚礼相关单词乔迁相关单词丧礼相关单词前言 加油 原文 邀请 1.invite[ɪnˈvaɪt]vt． 邀请 invitation [ˌɪnvəˈteʃən] n． 邀请；邀请函 invite sb to v． 邀请某人从事…… accept / decline /…...
【网络安全】文件上传漏洞及中国蚁剑安装
文件上传漏洞描述中国蚁剑安装1. 官网下载源码和加载器2.解压至同一目录并3.安装4.可能会出现的错误文件上传过程必要条件代码示例dvwa靶场攻击示例1.书写一句话密码进行上传2. 拼接上传地址3.使用中国蚁剑链接webshell前端js绕过方式服务端校验请求头中content-type黑名单绕过…...
[Java]面向对象高级篇
文章目录包装类包装类层次结构基本类型包装类特殊包装类数组一维数组多维数组可变长参数字符串String类StringBuilder类内部类成员内部类静态内部类局部内部类匿名内部类Lambda表达式方法引用异常机制自定义异常抛出异常异常的处理常用工具类数学工具类随机数数组工具类包装类 …...
苹果应用商店上架流程
上架过程分七个步骤，按步骤一步步来。 仔细看这个流程，少走很多弯路，不用一步步去试错，新手也能快速掌握上架流程。 1、创建APP身份证（App IDs） 2、申请iOS发布证书 3、申请iOS发布描述文件 4、上传ios证…...
基于Eclipse下使用arm gcc开发GD32调用printf
系列目录 第一章 xxx 目录 系列目录 文章目录 文章目录 系列文章目录前言一、pandas是什么？二、使用步骤 1.引入库2.读入数据总结前言 开发环境：Eclipse代替Keil，IAR 开发平台：GD32 开发编译器：arm-none-eabi- …...
5个降低云成本并提高IT运营效率的优先事项
在过去的十年里，公司在公有云和私有云基础设施上构建了大量的计算工作负载，或者将工作负载转移到云端。Gartner 预测，到2023年，全球终端用户在公共云服务上的支出将达到5910亿美元，比2021年增长43%。这是一个显著的增长…...
95-拥塞控制
拥塞控制1.什么是拥塞控制2.拥塞控制的方法(1)慢启动和拥塞避免(2)快速重传和快速恢复1.什么是拥塞控制 在计算机网络中的链路容量（即带宽）、交换结点中的缓存和处理机等，都是网络的资源。在某段时间，若对网络中某一资源的需求超…...
Linux常见操作命令【二】
一、Vi 编辑器 Vi 编辑器存在三者模式：命令、末行、编辑 1.1 命令模式 输入 vi 默认进入命令模式 输入n或者nG：定位到某一行行首 输入G：跳到文件最后一行行首 输入hjkl：表示左下上右移动光标（方向键也可以…...
Linux驱动中断和定时器
目录 中断 顶半部/底半部机制 软中断： Tasklet: 工作队列： 定时器 中断 中断是正在执行的程序被另一个程序打断，去执行另一个程序的处理函数，当执行完再返回执行被打断的程序。分为内中断(异常)和外中断(硬件中断)。 当cp…...
基于算法竞赛的c++编程（28）结构体的进阶应用
结构体的嵌套与复杂数据组织 在C中，结构体可以嵌套使用，形成更复杂的数据结构。例如，可以通过嵌套结构体描述多层级数据关系： struct Address {string city;string street;int zipCode; };struct Employee {string name;int id;…...
XML Group端口详解
在XML数据映射过程中，经常需要对数据进行分组聚合操作。例如，当处理包含多个物料明细的XML文件时，可能需要将相同物料号的明细归为一组，或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码，增加了开…...
使用VSCode开发Django指南
使用VSCode开发Django指南 一、概述 Django 是一个高级 Python 框架，专为快速、安全和可扩展的 Web 开发而设计。Django 包含对 URL 路由、页面模板和数据处理的丰富支持。 本文将创建一个简单的 Django 应用，其中包含三个使用通用基本模板的页面。在此…...
Xshell远程连接Kali（默认 | 私钥）Note版
前言:xshell远程连接，私钥连接和常规默认连接 任务一 开启ssh服务 service ssh status //查看ssh服务状态 service ssh start //开启ssh服务 update-rc.d ssh enable //开启自启动ssh服务 任务二 修改配置文件 vi /etc/ssh/ssh_config //第一…...
23-Oracle 23 ai 区块链表（Blockchain Table）
小伙伴有没有在金融强合规的领域中遇见，必须要保持数据不可变，管理员都无法修改和留痕的要求。比如医疗的电子病历中，影像检查检验结果不可篡改行的，药品追溯过程中数据只可插入无法删除的特性需求；登录日志、修改日志…...
如何在看板中体现优先级变化
在看板中有效体现优先级变化的关键措施包括：采用颜色或标签标识优先级、设置任务排序规则、使用独立的优先级列或泳道、结合自动化规则同步优先级变化、建立定期的优先级审查流程。其中，设置任务排序规则尤其重要，因为它让看板视觉上直观地体…...
2021-03-15 iview一些问题
1.iview 在使用tree组件时，发现没有set类的方法，只有get，那么要改变tree值，只能遍历treeData，递归修改treeData的checked，发现无法更改，原因在于check模式下，子元素的勾选状态跟父节…...
OPenCV CUDA模块图像处理-----对图像执行 均值漂移滤波（Mean Shift Filtering）函数meanShiftFiltering()
操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 在 GPU 上对图像执行 均值漂移滤波（Mean Shift Filtering），用于图像分割或平滑处理。 该函数将输入图像中的…...
【MATLAB代码】基于最大相关熵准则（MCC）的三维鲁棒卡尔曼滤波算法（MCC-KF），附源代码|订阅专栏后可直接查看
文章所述的代码实现了基于最大相关熵准则（MCC）的三维鲁棒卡尔曼滤波算法（MCC-KF），针对传感器观测数据中存在的脉冲型异常噪声问题，通过非线性加权机制提升滤波器的抗干扰能力。代码通过对比传统KF与MCC-KF在含异常值场景下的表现，验证了后者在状态估计鲁棒性方面的显著优…...
破解路内监管盲区：免布线低位视频桩重塑停车管理新标准
城市路内停车管理常因行道树遮挡、高位设备盲区等问题，导致车牌识别率低、逃费率高，传统模式在复杂路段束手无策。免布线低位视频桩凭借超低视角部署与智能算法，正成为破局关键。该设备安装于车位侧方0.5-0.7米高度，直接规避树枝遮…...