当前位置： 首页 > news >正文

一、Mediasoup源码介绍

news 2026/2/7 10:49:36

一、Mediasoup 整体结构

整个Mediasoup库通过Nodejs管理，比如整体逻辑、worker、router、producer、consumer...都是通过JS进行管理的。

其底层的数据传输是通过C++部分进行控制的，通过NodeJs来控制C++部分，以实现整体的数据传输效

二、Mediasoup js类关系

1.几乎所有类都继承自EnhancedEventEmitter，每个对象都可以发送事件

2.每个worker代表一个节点，内部有多个Router，组成Routers结构。每个Worker中都有一个channel，与C++进行通讯

3.对于每一个Router房间来说，是包含Tranports和Produces

4.Transport包含Produces与Consumes，其包括多个子类，如WebRtcTransport（浏览器数据传输）、PlainRtpTransport（非音视频）、PipeTransport（不同router之间数据流转）

二、Mediasoup c++类关系

1.最核心是Router类，房间概念，包含Consumer、Producer，Transport子模块，关系对应1：n

2.Consumer中含有多种子类，如：SimpleConsumer（音视频流）、PipeConsumer（Router之间数据流转）、SvcConsumer（分层、增量）、SimulcastConsumer（分层）

3.Producer，接收共享者传输的流

4.Transport分为3种，同前面JS介绍一致，TransportTuple元组存放本地socket、远端socket、IP、端口

三、Mediasoup 核心类介绍

  1. 对于4种消费者，都包含RtpStreamSend对象，消费者发送数据给客户端，通过RtpStreamSend方法。RtpStreamSend继承自RtpStream，这个类处理Rtp数据流的收发。RtpStream使用到了RtpPacket，这个包是用于对Rtp数据包的分析，Rtp数据有数据包头，对于包头每一个字段的定义都是在这个Packet里面操作的

  2. 因为要对整个数据进行处理，所以使用SeqManager，序列管理器。服务端推送给客户端的数据流是会重新排序的，排序的时候便会依靠这个SeqManager，它会记录某个SSRC所对应的Sequence，以此为起始位置，然后后面的每个包都向下递增一个数

  3. Producer作为服务端的生产者，它是用来接收共享者发送的数据流，所以它里面包含多个RtpStreamRecv，是一对多的关系（为什么是多个RtpStreamRecv呢？因为数据的接收有可能会丢包，丢包重传的也算作一路流，对应的音频的丢包也是需要重传）

  4. 作为数据的接收端，RtpStreamRecv使用到了NackGenerator丢包产生器。接收端能够知道有没有丢包，因为数据包有Sequence，比如发送了100个数据，前50个数据是连续的，但假设当50之后是55，Recv端就知道丢了 51、52、53、54 这4个包了。丢包之后如何解决呢，有两种方式：

  5. Fec：在每个包增加一些冗余，它能计算 出丢失的音频包或视频包

  6. Nack：它会告诉发送端丢了哪些包，发送端会根据策略，若时间比较短的话，会把丢失的包补上来，具体补哪些包就是根据NackGenerator产生的

  7. Transport分为3种，WebRtcTransport（浏览器数据传输）、PlainRtpTransport（非音视频）、PipeTransport（不同router之间数据流转）。TransportTuple元组存放本地socket、远端socket、IP、端口

  8. 最核心的是WebRtcTransport，与浏览器进行数据传输。首先其包含UdpScoket与TcpServer对应两个链接，可以与客户端连接通信

  9. 对于UdpSocket与TcpServere，其继承自PortManager端口管理器，对于Mediasoup来说，默认是从40000到49999共一万个端口号。UdpSocket和TcpServer通过PortManager进行对端口号的管理，首先确定端口号有没有被占用，没有被占用就使用该端口号对数据传输；若被占用，就根据PortManager的策略往后跳。注意Udp和Tcp的使用是互斥的

  10. DtlsTransport：使用dtls对Rtp包进行数据加密的协议，同时在这里面还使用到了Srtp协议，Srtp协议分为数据的收与发，所以在WebRTCTransport中有Srtp send和recv这两个Session

  11. RembClient/RembServer：这两个主要用于对带宽的评估，既可用于client端也可用于server端。对于共享者来说，Mediasoup的WebRTCTransport就是RembClient端；对于消费者来说，就是RembServer端

  12. IceCandidate：候选者包括Host、Server reflexive、Relay reflexive三种，对于WebRTC一般设置成Host，最高优先级

相关文章：

一、Mediasoup源码介绍

一、Mediasoup 整体结构 整个Mediasoup库通过Nodejs管理，比如整体逻辑、worker、router、producer、consumer...都是通过JS进行管理的。 其底层的数据传输是通过C部分进行控制的，通过NodeJs来控制C部分，以实现整体的数据传输效 二、Mediasou…...

编程日记 2023/9/14 4:12:32

⑧ 嵌套路由配置

这种就是路由嵌套 在index.js中加上三级页面 引入到二级导航里面 增加重定向配置 三级页面默认显示第一个页面信息 在这里插入图片描述...

编程日记 2023/9/14 4:10:27

【ppt技巧】将幻灯片里的图片背景设置为透明

在PPT中添加了图片，想要将图片中的背景设置为透明或者想要抠图，有什么方法吗？今天分享两个方法。 方法一： 添加图片，选中图片之后，点击【图片格式】功能，点击最左边的【删除背景】 PPT会自动帮…...

编程日记 2023/9/14 4:09:26

rrweb入门

rrweb 背景 rrweb 是 record and replay the web，是当下很流行的一个录制屏幕的开源库。与我们传统认知的录屏方式（如 WebRTC）不同的是，rrweb 录制的不是真正的视频流，而是一个记录页面 DOM 变化的 JSON 数组&#x…...

编程日记 2023/9/14 4:08:23

OSCP系列靶场-Esay-Vegeta1保姆级

OSCP系列靶场-Esay-Vegeta1保姆级 目录 OSCP系列靶场-Esay-Vegeta1保姆级总结准备工作信息收集-端口扫描目标开放端口收集目标端口对应服务探测 信息收集-端口测试22-SSH端口的信息收集22-SSH端口版本信息与MSF利用22-SSH协议支持的登录方式22-SSH手动登录尝试(无)22-SSH弱口令…...

编程日记 2023/9/14 4:07:21

AJAX学习笔记9 搜索联想自动补全

AJAX学习笔记8 跨域问题及解决方案_biubiubiu0706的博客-CSDN博客 其实就一个功能 搜索联想 自动补全 键盘按下事件keydown 键盘弹起事件keyup 做模糊查询 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><t…...

编程日记 2023/9/14 4:05:20

Docker启动失败报错Failed to start Docker Application Container Engine解决方案

Docker启动失败报错Failed to start Docker Application Container Engine解决方案_天涯人6的博客-CSDN博客...

编程日记 2023/9/14 4:04:19

安装React脚手架

在安装React脚手架之前&#xff0c;你需要决定使用哪个包管理工具。这里我们选择使用npm。运行下面的命令来安装React脚手架&#xff1a; npm install -g create-react-app这个命令会在全局安装React脚手架工具create-react-app。 现在&#xff0c;你已经准备好创建一个新的R…...

编程日记 2023/9/14 4:03:17

想要精通算法和SQL的成长之路 - 受限条件下可到达节点的数目

想要精通算法和SQL的成长之路 - 受限条件下可到达节点的数目 前言一. 相交链表&#xff08;邻接图和DFS&#xff09; 前言 想要精通算法和SQL的成长之路 - 系列导航 一. 相交链表&#xff08;邻接图和DFS&#xff09; 原题链接 public int reachableNodes(int n, int[][] ed…...

编程日记 2023/9/14 3:59:14

加快项目开发进度常用5种方法

项目进度管理是根据进度目标&#xff0c;制定合理的进度计划&#xff0c;全程监控项目进度的执行情况。这样有利于明确项目目标&#xff0c;协调团队行动&#xff0c;提高开发效率&#xff0c;从而最大化项目利益。而加快项目进度&#xff0c;有利于提高项目整体效率&#xff0…...

编程日记 2023/9/14 3:55:09

leetcode做题笔记136. 只出现一次的数字

给你一个 非空 整数数组 nums &#xff0c;除了某个元素只出现一次以外&#xff0c;其余每个元素均出现两次。找出那个只出现了一次的元素。 你必须设计并实现线性时间复杂度的算法来解决此问题&#xff0c;且该算法只使用常量额外空间。 思路一&#xff1a;快排&#xff08;…...

编程日记 2023/9/14 3:54:08

vuex 模拟异步调用

在页面中首先定义一个调用vuex异步函数的方法 <el-button click fetchData></el-button> {{asyncData}} vuex 中 const store new Vuex.Store({state: {asyncData: null,},mutations: {SET_ASYNC_DATA(state, data) {state.asyncData data;},},actions: {fe…...

编程日记 2023/9/14 3:52:06

error：Failed building wheel for XXX

解决方案适用于大多数的pip 安装时出现的Failed building wheel for XXX 出现问题 按以往快速安装包的经验&#xff0c;第一反应当然是使用简单又快捷的terminal命令加上镜像&#xff0c;如下&#xff1a; pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple结…...

编程日记 2023/9/14 3:51:06

【linux命令讲解大全】112.Linux 系统管理工具：dpkg-statoverride 和 dstat 的使用介绍

文章目录 dpkg-statoverride补充说明语法选项实例 dstat补充说明下载安装方法一方法二 使用说明语法常用选项实例 从零学 python dpkg-statoverride 在 Debian Linux 中覆盖文件的所有权和模式。 补充说明 dpkg-statoverride 命令用于在 Debian Linux 中覆盖文件的所有权和模…...

编程日记 2023/9/14 3:49:01

ffmpeg草稿

avformat 用于解析容器和协议(protocol)。 avcodec 用于编码和解码基本流(您已经拥有的)。 Qt/C音视频开发44-本地摄像头推流&#xff08;支持分辨率/帧率等设置/实时性极高&#xff09;_feiyangqingyun的博客-CSDN博客 void FFmpegThread::initInputFormat() {//本地摄像头/桌…...

编程日记 2023/9/14 3:47:59

熵 | 无线通信知识

文章目录 一、信息论&#xff08;熵、联合熵、条件熵&#xff09;二、Bernoulli熵三、联合熵和条件熵四、互信息五、相对熵(KL距离)六、微分熵七、最大熵分布常需要的不等式公式 一、信息论&#xff08;熵、联合熵、条件熵&#xff09; 熵定义&#xff1a; H ( X ) E [ − l …...

编程日记 2023/9/14 3:46:58

黑马JVM总结（七）

&#xff08;1&#xff09;StringTable_编译器优化 “a”“b”对应#4&#xff1a;是去常量池中找ab的这个符号 astore 5&#xff1a;是把这个存入编号为5的局部变量 “ab”对应的指令 #4&#xff0c;跟“a”“b”对应#4下面弄是一样的 在执行s3“ab”这行个代码时&#xf…...

编程日记 2023/9/14 3:43:55

Vue3核心语法一

Vue3核心语法一 rectiveshallowReactiverefcomputedwatchwatchEffet 使用Vue3创建项目template中标签可以多个根标签,可以通过setup开启组合式API,组合式API优点可以使相同业务放到一起 rective 定义响应式数据, import { reactive} from "vue";const data reactiv…...

编程日记 2023/9/14 3:42:54

5.11.Webrtc接口的设计原理

在上节课中呢&#xff0c;我向你介绍了web rtc的接口宏&#xff0c;那有很多同学会产生疑问啊&#xff0c;那觉得web rtc为什么要把接口设计的这么复杂&#xff1f;还非要通过宏来实现一个代理类&#xff0c;再通过代理类来调用到web rtc内部。 那为什么要这么设计呢&#xf…...

编程日记 2023/9/14 3:41:53

2022年09月 C/C++（八级）真题解析#中国电子学会#全国青少年软件编程等级考试

C/C++编程（1~8级）全部真题・点这里 第1题：道路 N个以 1 … N 标号的城市通过单向的道路相连:。每条道路包含两个参数：道路的长度和需要为该路付的通行费（以金币的数目来表示） Bob and Alice 过去住在城市 1.在注意到Alice在他们过去喜欢玩的纸牌游戏中作弊后，Bob和她分手…...

编程日记 2023/9/14 3:39:51

从零实现富文本编辑器#5-编辑器选区模型的状态结构表达

先前我们总结了浏览器选区模型的交互策略&#xff0c;并且实现了基本的选区操作&#xff0c;还调研了自绘选区的实现。那么相对的&#xff0c;我们还需要设计编辑器的选区表达&#xff0c;也可以称为模型选区。编辑器中应用变更时的操作范围&#xff0c;就是以模型选区为基准来…...

编程新知 2026/1/16 16:34:26

java 实现excel文件转pdf | 无水印 | 无限制

文章目录 目录 文章目录 前言 1.项目远程仓库配置 2.pom文件引入相关依赖 3.代码破解 二、Excel转PDF 1.代码实现 2.Aspose.License.xml 授权文件 总结 前言 java处理excel转pdf一直没找到什么好用的免费jar包工具，自己手写的难度，恐怕高级程序员花费一年的事件，也…...

编程新知 2025/11/5 4:10:42

高频面试之3Zookeeper

高频面试之3Zookeeper 文章目录 高频面试之3Zookeeper3.1 常用命令3.2 选举机制3.3 Zookeeper符合法则中哪两个&#xff1f;3.4 Zookeeper脑裂3.5 Zookeeper用来干嘛了 3.1 常用命令 ls、get、create、delete、deleteall3.2 选举机制 半数机制&#xff08;过半机制&#xff0…...

编程新知 2026/1/25 13:13:20

深入理解JavaScript设计模式之单例模式

目录 什么是单例模式为什么需要单例模式常见应用场景包括 单例模式实现透明单例模式实现不透明单例模式用代理实现单例模式javaScript中的单例模式使用命名空间使用闭包封装私有变量 惰性单例通用的惰性单例 结语 什么是单例模式 单例模式&#xff08;Singleton Pattern&#…...

编程新知 2026/1/31 17:09:43

【单片机期末】单片机系统设计

主要内容&#xff1a;系统状态机&#xff0c;系统时基&#xff0c;系统需求分析&#xff0c;系统构建&#xff0c;系统状态流图 一、题目要求 二、绘制系统状态流图 题目&#xff1a;根据上述描述绘制系统状态流图&#xff0c;注明状态转移条件及方向。 三、利用定时器产生时…...

编程新知 2026/1/31 12:27:36

[Java恶补day16] 238.除自身以外数组的乘积

给你一个整数数组 nums&#xff0c;返回 数组 answer &#xff0c;其中 answer[i] 等于 nums 中除 nums[i] 之外其余各元素的乘积 。 题目数据 保证 数组 nums之中任意元素的全部前缀元素和后缀的乘积都在 32 位 整数范围内。 请 不要使用除法&#xff0c;且在 O(n) 时间复杂度…...

编程新知 2025/10/3 13:53:38

HarmonyOS运动开发：如何用mpchart绘制运动配速图表

##鸿蒙核心技术##运动开发##Sensor Service Kit&#xff08;传感器服务&#xff09;# 前言 在运动类应用中&#xff0c;运动数据的可视化是提升用户体验的重要环节。通过直观的图表展示运动过程中的关键数据&#xff0c;如配速、距离、卡路里消耗等&#xff0c;用户可以更清晰…...

编程新知 2026/2/2 7:49:59

七、数据库的完整性

七、数据库的完整性 主要内容 7.1 数据库的完整性概述 7.2 实体完整性 7.3 参照完整性 7.4 用户定义的完整性 7.5 触发器 7.6 SQL Server中数据库完整性的实现 7.7 小结 7.1 数据库的完整性概述 数据库完整性的含义 正确性 指数据的合法性 有效性 指数据是否属于所定…...

编程新知 2026/2/4 10:28:25

Chromium 136 编译指南 Windows篇：depot_tools 配置与源码获取（二）

引言 工欲善其事&#xff0c;必先利其器。在完成了 Visual Studio 2022 和 Windows SDK 的安装后&#xff0c;我们即将接触到 Chromium 开发生态中最核心的工具——depot_tools。这个由 Google 精心打造的工具集&#xff0c;就像是连接开发者与 Chromium 庞大代码库的智能桥梁…...

编程新知 2026/1/25 20:54:41

comfyui 工作流中 图生视频 如何增加视频的长度到5秒

comfyUI 工作流怎么可以生成更长的视频。除了硬件显存要求之外还有别的方法吗&#xff1f; 在ComfyUI中实现图生视频并延长到5秒&#xff0c;需要结合多个扩展和技巧。以下是完整解决方案&#xff1a; 核心工作流配置&#xff08;24fps下5秒120帧&#xff09; #mermaid-svg-yP…...

编程新知 2025/11/4 17:30:04