RTC 基础
简单的一个框架
一、上行
1.音频
音频采集->3A处理->混合(麦克风+bgm+自定义音频)->编码->fec->打网络包(UDT/QUIC/SRT)->加密->socket发送
2.视频
视频采集->编码->切片->fec->打网络包(UDT/QUIC/SRC)->加密->socket发送
二、下行
1.音频
socket接收->解网络包->解密->送入抗抖动buffer
播放器(播放线程)->获取抗抖动buffer数据包->解码->播放
2.视频
socket接收->解网络包->解密->组视频包->送入抗抖动buffer->送入解码缓存->图片处理->渲染
总结:
音频视频网络部分大致相同，FEC/网络包/加密
在实际场景中，每一个部分都会涉及更多的细节逻辑
比如
1. 编码，音频一般会再opus/aac之间做选择，opus更广泛，更低的编码延迟在实时场景中有更好的表现。视频一般为x264/o264中做选择，但是视频为了获取更好的性能，又会选择硬编硬解，这就又引入了更多的平台相关的技术，更为复杂
2. 因为音视频都是单独传输，接收端又要考虑音画同步问题
3. 视频数据即便是编码压缩后，数据依旧比较大，要考虑加入buffer，做为平滑发送(pacing)的手段
在包括 采集，编解码，网络延迟，播放，每一个部分的延迟都需要纳入考虑范畴
相关文章：
RTC 基础
简单的一个框架 一、上行 1.音频 音频采集->3A处理->混合(麦克风bgm自定义音频)->编码->fec->打网络包(UDT/QUIC/SRT)->加密->socket发送 2.视频 视频采集->编码->切片->fec->打网络包(UDT/QUIC/SRC)->加密->socket发送 二、下行…...
Quaternion插值方法
介绍 unity，四元数Quaternion插值方法介绍 方法 线性插值（Lerp）： 适用范围：适用于需要简单平滑地过渡的情况，比如物体的位置、大小等。 优点：计算简单，效率高。 缺点：不…...
如何配置Stash以便与4EVERLAND一起使用
What is Stash? AppsCode的Stash是一个可靠的工具，用于备份和恢复Kubernetes卷和应用程序。有了Stash，你可以通过定期备份和在数据丢失或系统故障时恢复这些数据来轻松保护你的宝贵数据。Stash功能多样，可用于备份各种Kubernetes资源的数据…...
webpack plugin源码解析(四) HashedModuleIdsPlugin
文章目录作用涉及 webpack API获取chunkGraph获取当前编译过程中被使用过的 module id：compilation.usedModuleIds获取当前编译过程中所有的模块对象：compilation.modules判断 module 是否需要生成 id：module.needId获取指定module 的 module…...
pytorch | 使用vmap对自定义函数进行并行化/ 向量化的执行
0. 参考 pytorch官方文档：https://pytorch.org/docs/stable/generated/torch.func.vmap.html#torch-func-vmap关于if语句如何执行：https://github.com/pytorch/functorch/issues/257 1. 问题背景 笔者现在需要执行如下的功能： root_ls [fu…...
Docker部署RabbitMQ(单机，集群，仲裁队列)
RabbitMQ部署指南 1.单机部署 我们在Centos7虚拟机中使用Docker来安装。 1.1.下载镜像 方式一：在线拉取 docker pull rabbitmq:3-management方式二：从本地加载 在课前资料已经提供了镜像包： 上传到虚拟机中后，使用命令加载镜…...
生活污水处理设备选购指南
生活污水中含有大量的有机物（如蛋白质、碳水化合物、脂肪、尿素、氨氮等）及大量的病原微生物，可导致传染病蔓延流行。因此，生活污水在排放前，需要进行处理。那么如何正确的选择生活污水处理设备呢？ 一、生活…...
奥威BI数据可视化大屏分享|多场景、多风格
数据可视化大屏一般应用在品牌推广展示、商务交流、数据分析决策、数据监控等场景，由此催生出各种不同风格的BI数据可视化大屏设计。下面就从奥威BI软件的BI报表模板中截取几个有着不同风格，起着不同作用的BI数据可视化大屏报表，一起来了解一…...
超越时空：加速预训练语言模型的训练
超越时空：加速预训练语言模型的训练 随着自然语言处理（NLP）领域的快速发展，预训练语言模型（PTLM）已成为许多NLP任务的重要基石，如文本生成、情感分析、文本分类等。然而，传统的PTLM…...
数据库管理系统PostgreSQL部署安装完整教程
PostgreSQL是一个开源的关系型数据库管理系统，它支持大量的数据类型和复杂的查询语言，可以用于各种应用程序。它是一个高性能的数据库，可以处理大量的数据，并且具有良好的可扩展性和可靠性。 目录 一.Linux系统安装PostgresSQL&a…...
有学生问我，重构是什么？我应该如何回答？
重构到底是什么？只是代码的推倒重新编码？还是有规则、有方法可寻？当然，结论肯定是有的，本文，我们通过一个简单的实例，来理解一下重构。 1.借助一个实例需求 这是一个影片出租店用的程序&#…...
交际场合---英文单词
目录 前言原文邀请生日和聚会离别探病婚礼新居落成葬礼聚会相关单词婚礼相关单词乔迁相关单词丧礼相关单词前言 加油 原文 邀请 1.invite[ɪnˈvaɪt]vt． 邀请 invitation [ˌɪnvəˈteʃən] n． 邀请；邀请函 invite sb to v． 邀请某人从事…… accept / decline /…...
【网络安全】文件上传漏洞及中国蚁剑安装
文件上传漏洞描述中国蚁剑安装1. 官网下载源码和加载器2.解压至同一目录并3.安装4.可能会出现的错误文件上传过程必要条件代码示例dvwa靶场攻击示例1.书写一句话密码进行上传2. 拼接上传地址3.使用中国蚁剑链接webshell前端js绕过方式服务端校验请求头中content-type黑名单绕过…...
[Java]面向对象高级篇
文章目录包装类包装类层次结构基本类型包装类特殊包装类数组一维数组多维数组可变长参数字符串String类StringBuilder类内部类成员内部类静态内部类局部内部类匿名内部类Lambda表达式方法引用异常机制自定义异常抛出异常异常的处理常用工具类数学工具类随机数数组工具类包装类 …...
苹果应用商店上架流程
上架过程分七个步骤，按步骤一步步来。 仔细看这个流程，少走很多弯路，不用一步步去试错，新手也能快速掌握上架流程。 1、创建APP身份证（App IDs） 2、申请iOS发布证书 3、申请iOS发布描述文件 4、上传ios证…...
基于Eclipse下使用arm gcc开发GD32调用printf
系列目录 第一章 xxx 目录 系列目录 文章目录 文章目录 系列文章目录前言一、pandas是什么？二、使用步骤 1.引入库2.读入数据总结前言 开发环境：Eclipse代替Keil，IAR 开发平台：GD32 开发编译器：arm-none-eabi- …...
5个降低云成本并提高IT运营效率的优先事项
在过去的十年里，公司在公有云和私有云基础设施上构建了大量的计算工作负载，或者将工作负载转移到云端。Gartner 预测，到2023年，全球终端用户在公共云服务上的支出将达到5910亿美元，比2021年增长43%。这是一个显著的增长…...
95-拥塞控制
拥塞控制1.什么是拥塞控制2.拥塞控制的方法(1)慢启动和拥塞避免(2)快速重传和快速恢复1.什么是拥塞控制 在计算机网络中的链路容量（即带宽）、交换结点中的缓存和处理机等，都是网络的资源。在某段时间，若对网络中某一资源的需求超…...
Linux常见操作命令【二】
一、Vi 编辑器 Vi 编辑器存在三者模式：命令、末行、编辑 1.1 命令模式 输入 vi 默认进入命令模式 输入n或者nG：定位到某一行行首 输入G：跳到文件最后一行行首 输入hjkl：表示左下上右移动光标（方向键也可以…...
Linux驱动中断和定时器
目录 中断 顶半部/底半部机制 软中断： Tasklet: 工作队列： 定时器 中断 中断是正在执行的程序被另一个程序打断，去执行另一个程序的处理函数，当执行完再返回执行被打断的程序。分为内中断(异常)和外中断(硬件中断)。 当cp…...
【kafka】Golang实现分布式Masscan任务调度系统
要求： 输出两个程序，一个命令行程序（命令行参数用flag）和一个服务端程序。 命令行程序支持通过命令行参数配置下发IP或IP段、端口、扫描带宽，然后将消息推送到kafka里面。 服务端程序： 从kafka消费者接收…...
中南大学无人机智能体的全面评估！BEDI：用于评估无人机上具身智能体的综合性基准测试
作者：Mingning Guo, Mengwei Wu, Jiarun He, Shaoxian Li, Haifeng Li, Chao Tao单位：中南大学地球科学与信息物理学院论文标题：BEDI: A Comprehensive Benchmark for Evaluating Embodied Agents on UAVs论文链接：https://arxiv.…...
Day131 | 灵神 | 回溯算法 | 子集型 子集
Day131 | 灵神 | 回溯算法 | 子集型 子集 78.子集 78. 子集 - 力扣（LeetCode） 思路： 笔者写过很多次这道题了，不想写题解了，大家看灵神讲解吧 回溯算法套路①子集型回溯【基础算法精讲 14】_哔哩哔哩_bilibili 完…...
` 方法)
深入浅出：JavaScript 中的 `window.crypto.getRandomValues()` 方法
深入浅出：JavaScript 中的 window.crypto.getRandomValues() 方法 在现代 Web 开发中，随机数的生成看似简单，却隐藏着许多玄机。无论是生成密码、加密密钥，还是创建安全令牌，随机数的质量直接关系到系统的安全性。Jav…...
蓝牙 BLE 扫描面试题大全(2)：进阶面试题与实战演练
前文覆盖了 BLE 扫描的基础概念与经典问题蓝牙 BLE 扫描面试题大全(1)：从基础到实战的深度解析-CSDN博客，但实际面试中，企业更关注候选人对复杂场景的应对能力（如多设备并发扫描、低功耗与高发现率的平衡）和前沿技术的…...
渲染学进阶内容——模型
最近在写模组的时候发现渲染器里面离不开模型的定义，在渲染的第二篇文章中简单的讲解了一下关于模型部分的内容，其实不管是方块还是方块实体，都离不开模型的内容 🧱 一、CubeListBuilder 功能解析 CubeListBuilder 是 Minecraft Java 版模型系统的核心构建器，用于动态创…...
UR 协作机器人「三剑客」：精密轻量担当（UR7e）、全能协作主力（UR12e）、重型任务专家（UR15）
UR协作机器人正以其卓越性能在现代制造业自动化中扮演重要角色。UR7e、UR12e和UR15通过创新技术和精准设计满足了不同行业的多样化需求。其中，UR15以其速度、精度及人工智能准备能力成为自动化领域的重要突破。UR7e和UR12e则在负载规格和市场定位上不断优化…...
学校时钟系统，标准考场时钟系统，AI亮相2025高考，赛思时钟系统为教育公平筑起“精准防线”
2025年#高考 将在近日拉开帷幕，#AI 监考一度冲上热搜。当AI深度融入高考，#时间同步 不再是辅助功能，而是决定AI监考系统成败的“生命线”。 AI亮相2025高考，40种异常行为0.5秒精准识别 2025年高考即将拉开帷幕，江西、…...
如何在网页里填写 PDF 表格？
有时候，你可能希望用户能在你的网站上填写 PDF 表单。然而，这件事并不简单，因为 PDF 并不是一种原生的网页格式。虽然浏览器可以显示 PDF 文件，但原生并不支持编辑或填写它们。更糟的是，如果你想收集表单数据ÿ…...
省略号和可变参数模板
本文主要介绍如何展开可变参数的参数包 1.C语言的va_list展开可变参数 #include <iostream> #include <cstdarg>void printNumbers(int count, ...) {// 声明va_list类型的变量va_list args;// 使用va_start将可变参数写入变量argsva_start(args, count);for (in…...