当前位置： 首页 > news >正文

Mediasoup源码介绍

news 2026/2/8 23:31:01

一、Mediasoup 整体结构

整个Mediasoup库通过Nodejs管理，比如整体逻辑、worker、router、producer、consumer...都是通过JS进行管理的。

其底层的数据传输是通过C++部分进行控制的，通过NodeJs来控制C++部分，以实现整体的数据传输效

二、Mediasoup js类关系

1.几乎所有类都继承自EnhancedEventEmitter，每个对象都可以发送事件

2.每个worker代表一个节点，内部有多个Router，组成Routers结构。每个Worker中都有一个channel，与C++进行通讯

3.对于每一个Router房间来说，是包含Tranports和Produces

4.Transport包含Produces与Consumes，其包括多个子类，如WebRtcTransport（浏览器数据传输）、PlainRtpTransport（非音视频）、PipeTransport（不同router之间数据流转）

二、Mediasoup c++类关系

1.最核心是Router类，房间概念，包含Consumer、Producer，Transport子模块，关系对应1：n

2.Consumer中含有多种子类，如：SimpleConsumer（音视频流）、PipeConsumer（Router之间数据流转）、SvcConsumer（分层、增量）、SimulcastConsumer（分层）

3.Producer，接收共享者传输的流

4.Transport分为3种，同前面JS介绍一致，TransportTuple元组存放本地socket、远端socket、IP、端口

三、Mediasoup 核心类介绍

  1. 对于4种消费者，都包含RtpStreamSend对象，消费者发送数据给客户端，通过RtpStreamSend方法。RtpStreamSend继承自RtpStream，这个类处理Rtp数据流的收发。RtpStream使用到了RtpPacket，这个包是用于对Rtp数据包的分析，Rtp数据有数据包头，对于包头每一个字段的定义都是在这个Packet里面操作的

  2. 因为要对整个数据进行处理，所以使用SeqManager，序列管理器。服务端推送给客户端的数据流是会重新排序的，排序的时候便会依靠这个SeqManager，它会记录某个SSRC所对应的Sequence，以此为起始位置，然后后面的每个包都向下递增一个数

  3. Producer作为服务端的生产者，它是用来接收共享者发送的数据流，所以它里面包含多个RtpStreamRecv，是一对多的关系（为什么是多个RtpStreamRecv呢？因为数据的接收有可能会丢包，丢包重传的也算作一路流，对应的音频的丢包也是需要重传）

  4. 作为数据的接收端，RtpStreamRecv使用到了NackGenerator丢包产生器。接收端能够知道有没有丢包，因为数据包有Sequence，比如发送了100个数据，前50个数据是连续的，但假设当50之后是55，Recv端就知道丢了 51、52、53、54 这4个包了。丢包之后如何解决呢，有两种方式：

  5. Fec：在每个包增加一些冗余，它能计算 出丢失的音频包或视频包

  6. Nack：它会告诉发送端丢了哪些包，发送端会根据策略，若时间比较短的话，会把丢失的包补上来，具体补哪些包就是根据NackGenerator产生的

  7. Transport分为3种，WebRtcTransport（浏览器数据传输）、PlainRtpTransport（非音视频）、PipeTransport（不同router之间数据流转）。TransportTuple元组存放本地socket、远端socket、IP、端口

  8. 最核心的是WebRtcTransport，与浏览器进行数据传输。首先其包含UdpScoket与TcpServer对应两个链接，可以与客户端连接通信

  9. 对于UdpSocket与TcpServere，其继承自PortManager端口管理器，对于Mediasoup来说，默认是从40000到49999共一万个端口号。UdpSocket和TcpServer通过PortManager进行对端口号的管理，首先确定端口号有没有被占用，没有被占用就使用该端口号对数据传输；若被占用，就根据PortManager的策略往后跳。注意Udp和Tcp的使用是互斥的

  10. DtlsTransport：使用dtls对Rtp包进行数据加密的协议，同时在这里面还使用到了Srtp协议，Srtp协议分为数据的收与发，所以在WebRTCTransport中有Srtp send和recv这两个Session

  11. RembClient/RembServer：这两个主要用于对带宽的评估，既可用于client端也可用于server端。对于共享者来说，Mediasoup的WebRTCTransport就是RembClient端；对于消费者来说，就是RembServer端

  12. IceCandidate：候选者包括Host、Server reflexive、Relay reflexive三种，对于WebRTC一般设置成Host，最高优先级

相关文章：

Mediasoup源码介绍

一、Mediasoup 整体结构 整个Mediasoup库通过Nodejs管理，比如整体逻辑、worker、router、producer、consumer...都是通过JS进行管理的。 其底层的数据传输是通过C部分进行控制的，通过NodeJs来控制C部分，以实现整体的数据传输效 二、Mediasou…...

编程日记 2023/9/12 6:47:42

GIS入门，WKT格式详解

WKT介绍 WKT是Well-known Text的缩写，它是一种用于描述地理空间几何对象的文本格式。 WKT是一种开放的国际标准，由Open Geospatial Consortium（OGC）定义和维护。 WKT是一种标准的表示方法，可以用来描述点、线、面等地理空间对象的形状和位置。通过使用一系列的坐标点和关…...

编程日记 2023/9/12 6:46:42

Qt之postEvent

基本介绍 postEvent方法所属类为QCoreApplication，完整声明如下： [static] void QCoreApplication::postEvent(QObject *receiver, QEvent *event, int priority Qt::NormalEventPriority) 该方法的作用是将要发送的事件推送到对应线程的事件队列中&…...

编程日记 2023/9/12 6:45:41

1976~2020年青藏高原典型冰川及冰湖遥感监测数据集

冰川面积是反应气候变化最直接的指标之一。在全球变暖的大背景下，对于评估冰川融化造成的生态、全球气候变化和水资源价值评价等问题十分重要。本文针对受西风和印度洋夏季风影响下的青藏高原冰川及其末端冰湖的变化特征，制作了近44年来时相相对连续的冰…...

编程日记 2023/9/12 6:44:38

时序预测 | MATLAB实现LSSVM最小二乘支持向量机时间序列预测未来

时序预测 | MATLAB实现LSSVM最小二乘支持向量机时间序列预测未来 目录 时序预测 | MATLAB实现LSSVM最小二乘支持向量机时间序列预测未来预测效果基本介绍程序设计参考资料 预测效果 基本介绍 1.Matlab实现LSSVM时间序列预测未来(最小二乘支持向量机)； 2.运行环境Mat…...

编程日记 2023/9/12 6:43:38

windows10 使用WSL2安装原生docker

1.升级WSL2 我的 win10 wsl默认版本是1，先要升级WSL2不然不支持systemd(后台守护进程) 双击直接安装就行，安装包网上都能找到: Microsoft.WSL_1.3.17.0_x64_ARM64.msixbundle 执行 wsl --version 显示这样成功了: C:\Users\xx>wsl --version WSL …...

编程日记 2023/9/12 6:42:36

jupylab pandas按条件批量处理xls数据

批量处理xls表数据 引入相关包 import pandas as pd import xlrd import numpy as np# 去掉jupyleb警告 import warnings warnings.filterwarnings("ignore")from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity…...

编程日记 2023/9/12 6:41:35

RJ45水晶头网线顺序出错排查

线序 网线水晶头RJ45常用的线序标准ANSI / TIA-568定义了T568A与T568B两种线序，一般使用T568B，水晶头8个孔对应的8条线颜色如下图： 那1至8的编号，是从水晶头哪一面为参考呢，如下图，是水晶头金手指一面&am…...

编程日记 2023/9/12 6:40:34

【洛谷 P1115】最大子段和 题解（贪心算法）

最大子段和 题目描述 给出一个长度为 n n n 的序列 a a a，选出其中连续且非空的一段使得这段和最大。 输入格式 第一行是一个整数，表示序列的长度 n n n。 第二行有 n n n 个整数，第 i i i 个整数表示序列的第 i i i 个数字 a i …...

编程日记 2023/9/12 6:39:33

uni-app--》基于小程序开发的电商平台项目实战（一）

🏍️作者简介：大家好，我是亦世凡华、渴望知识储备自己的一名在校大学生 🛵个人主页：亦世凡华、 🛺系列专栏：uni-app 🚲座右铭：人生亦可燃烧，亦可腐败&#xf…...

编程日记 2023/9/12 6:38:31

入门人工智能 —— 学习一门编程语言 python 基础代码编写和运算符介绍（1）

入门人工智能 —— 学习一门编程语言 python（1） 入门流程1.安装pythonwindowslinux ubuntu 代码编写打印输出结果 基本加减法介绍基本运算符 随着人工智能技术的快速发展，越来越多的年轻人开始关注这个领域。作为入门者，学习人工智…...

编程日记 2023/9/12 6:37:29

【java安全】CommonsBeanUtils1

文章目录 【java安全】CommonsBeanUtils1前言Apache Commons BeanutilsBeanComparator如何调用BeanComparator#compare()方法？构造POC完整POC 调用链 【java安全】CommonsBeanUtils1 前言 在之前我们学习了java.util.PriorityQueue，它是java中的一个优…...

编程日记 2023/9/12 6:36:28

JVM优化(OOM,内存溢出)，查看线程快照，堆内存情况等问题

1：堆大小 新生代 老年代，新生代 ( Young ) 与老年代 ( Old ) 的比例的值为 1:2 ( 该值可以通过参数 –XX:NewRatio 来指定 ) 2：-Xmn参数总是应当小于-Xmx参数，否则就会触发OOM错误 3：jvm优化与查看gc回收情况&#x…...

编程日记 2023/9/12 6:35:01

git 给分支添加描述

需求:分支多了不知道当前分支的用处可以使用git br用来描述 效果: 全局安装命令 npm i -g git-br 项目内使用 git br 给f-230825-4-zhou分支备注 git config branch.f-230825-4-zhou.description 用来开发第四迭代需求 再次git br查看效果...

编程日记 2023/9/12 6:34:00

SpringBoot+Vue 整合websocket实现简单聊天窗口

效果图 1 输入临时名字充当账号使用 2 进入聊天窗口 3 发送消息 &#xff08;复制一个页面&#xff0c;输入其他名字&#xff0c;方便展示效果&#xff09; 4 其他窗口效果 代码实现 后端SpringBoot项目&#xff0c;自行创建 pom依赖 <dependency><groupId…...

编程日记 2023/9/12 6:32:59

PCB layout在布线上的设计规范有哪些？

PCB Layout是一项技术活&#xff0c;也是经验活&#xff0c;良好的PCB Layout布线可帮助工程师确保最终的电路板性能、可靠性和制造质量&#xff0c;因此是很多电子工程师的学习重点&#xff0c;下面我们来盘点下PCB Layout关于布线的规范有哪些。 1、地管的引脚接地越短越好&a…...

编程日记 2023/9/12 6:31:58

喜报丨迪捷软件入选浙江省2023年省级产业数字化服务商

近日&#xff0c;根据《关于组织开展2023年度省级产业数字化服务商申报工作的通知》要求&#xff0c;省经信厅公布2023年省级产业数字化服务商名单&#xff0c;浙江迪捷软件科技有限公司榜上有名。 省级产业数字化服务商上榜名单的评选在企业申报、地方推荐、专家评审、综合评估…...

编程日记 2023/9/12 6:30:57

verilog写rom，采用端口排序顺序例化

verilog写rom，采用端口排序顺序例化 1，介绍rom，以及rom与ram的区别2，RTL设计模块、门级网表以及testbench测试模块2.1 RTL设计2.2 门级网表2.3 testbench3，波形输出1，介绍rom，以及rom与ram的区别 参考文献： 1, 转载-ROM、RAM存储器原理详解以及DRAM、SRAM、SDRAM 、FLA…...

编程日记 2023/9/12 6:29:56

基于SSM的共享客栈管理系统的设计与实现

末尾获取源码 开发语言&#xff1a;Java Java开发工具&#xff1a;JDK1.8 后端框架&#xff1a;SSM 前端&#xff1a;采用JSP技术开发 数据库&#xff1a;MySQL5.7和Navicat管理工具结合 服务器&#xff1a;Tomcat8.5 开发软件&#xff1a;IDEA / Eclipse 是否Maven项目&#x…...

编程日记 2023/9/12 6:28:56

全屏Activity弹出键盘不顶起布局

最近遇到的一个问题是全屏Activity中要求弹出键盘不顶起布局&#xff0c;首先windowSoftInputMode的取值是有多个的&#xff0c;在全屏场景下adjustPan是没有用的&#xff0c;需要使用adjustResize首先确保键盘不顶起布局。 android:windowSoftInputMode"stateHidden|adju…...

编程日记 2023/9/12 6:27:54

未来机器人的大脑：如何用神经网络模拟器实现更智能的决策？

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…...

编程新知 2026/2/7 23:18:28

css实现圆环展示百分比，根据值动态展示所占比例

代码如下 <view class""><view class"circle-chart"><view v-if"!!num" class"pie-item" :style"{background: conic-gradient(var(--one-color) 0%,#E9E6F1 ${num}%),}"></view><view v-else …...

编程新知 2026/2/5 4:28:28

多场景 OkHttpClient 管理器 - Android 网络通信解决方案

下面是一个完整的 Android 实现&#xff0c;展示如何创建和管理多个 OkHttpClient 实例&#xff0c;分别用于长连接、普通 HTTP 请求和文件下载场景。 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas…...

编程新知 2025/12/15 1:34:37

vscode（仍待补充）

写于2025 6.9 主包将加入vscode这个更权威的圈子 vscode的基本使用 侧边栏 vscode还能连接ssh&#xff1f; debug时使用的launch文件 1.task.json {"tasks": [{"type": "cppbuild","label": "C/C: gcc.exe 生成活动文件"…...

编程新知 2026/1/24 13:04:10

鱼香ros docker配置镜像报错：https://registry-1.docker.io/v2/

使用鱼香ros一件安装docker时的https://registry-1.docker.io/v2/问题 一键安装指令 wget http://fishros.com/install -O fishros && . fishros出现问题&#xff1a;docker pull 失败 网络不同&#xff0c;需要使用镜像源 按照如下步骤操作 sudo vi /etc/docker/dae…...

编程新知 2025/12/31 6:28:08

html-＜abbr＞ 缩写或首字母缩略词

定义与作用 <abbr> 标签用于表示缩写或首字母缩略词&#xff0c;它可以帮助用户更好地理解缩写的含义&#xff0c;尤其是对于那些不熟悉该缩写的用户。 title 属性的内容提供了缩写的详细说明。当用户将鼠标悬停在缩写上时&#xff0c;会显示一个提示框。 示例&#x…...

编程新知 2026/1/24 19:22:03

华硕a豆14 Air香氛版，美学与科技的馨香融合

在快节奏的现代生活中&#xff0c;我们渴望一个能激发创想、愉悦感官的工作与生活伙伴&#xff0c;它不仅是冰冷的科技工具&#xff0c;更能触动我们内心深处的细腻情感。正是在这样的期许下&#xff0c;华硕a豆14 Air香氛版翩然而至&#xff0c;它以一种前所未有的方式&#x…...

编程新知 2026/1/29 14:27:00

C++使用 new 来创建动态数组

问题&#xff1a; 不能使用变量定义数组大小 原因&#xff1a; 这是因为数组在内存中是连续存储的&#xff0c;编译器需要在编译阶段就确定数组的大小&#xff0c;以便正确地分配内存空间。如果允许使用变量来定义数组的大小&#xff0c;那么编译器就无法在编译时确定数组的大…...

编程新知 2026/2/2 18:33:19

HarmonyOS运动开发：如何用mpchart绘制运动配速图表

##鸿蒙核心技术##运动开发##Sensor Service Kit&#xff08;传感器服务&#xff09;# 前言 在运动类应用中&#xff0c;运动数据的可视化是提升用户体验的重要环节。通过直观的图表展示运动过程中的关键数据&#xff0c;如配速、距离、卡路里消耗等&#xff0c;用户可以更清晰…...

编程新知 2026/2/2 7:49:59

排序算法总结（C++）

目录 一、稳定性二、排序算法选择、冒泡、插入排序归并排序随机快速排序堆排序基数排序计数排序 三、总结 一、稳定性 排序算法的稳定性是指&#xff1a;同样大小的样本 **&#xff08;同样大小的数据&#xff09;**在排序之后不会改变原始的相对次序。 稳定性对基础类型对象…...

编程新知 2026/1/25 9:33:23