当前位置： 首页 > news >正文

Mediasoup源码介绍

news 2026/5/13 23:18:39

一、Mediasoup 整体结构

整个Mediasoup库通过Nodejs管理，比如整体逻辑、worker、router、producer、consumer...都是通过JS进行管理的。

其底层的数据传输是通过C++部分进行控制的，通过NodeJs来控制C++部分，以实现整体的数据传输效

二、Mediasoup js类关系

1.几乎所有类都继承自EnhancedEventEmitter，每个对象都可以发送事件

2.每个worker代表一个节点，内部有多个Router，组成Routers结构。每个Worker中都有一个channel，与C++进行通讯

3.对于每一个Router房间来说，是包含Tranports和Produces

4.Transport包含Produces与Consumes，其包括多个子类，如WebRtcTransport（浏览器数据传输）、PlainRtpTransport（非音视频）、PipeTransport（不同router之间数据流转）

二、Mediasoup c++类关系

1.最核心是Router类，房间概念，包含Consumer、Producer，Transport子模块，关系对应1：n

2.Consumer中含有多种子类，如：SimpleConsumer（音视频流）、PipeConsumer（Router之间数据流转）、SvcConsumer（分层、增量）、SimulcastConsumer（分层）

3.Producer，接收共享者传输的流

4.Transport分为3种，同前面JS介绍一致，TransportTuple元组存放本地socket、远端socket、IP、端口

三、Mediasoup 核心类介绍

  1. 对于4种消费者，都包含RtpStreamSend对象，消费者发送数据给客户端，通过RtpStreamSend方法。RtpStreamSend继承自RtpStream，这个类处理Rtp数据流的收发。RtpStream使用到了RtpPacket，这个包是用于对Rtp数据包的分析，Rtp数据有数据包头，对于包头每一个字段的定义都是在这个Packet里面操作的

  2. 因为要对整个数据进行处理，所以使用SeqManager，序列管理器。服务端推送给客户端的数据流是会重新排序的，排序的时候便会依靠这个SeqManager，它会记录某个SSRC所对应的Sequence，以此为起始位置，然后后面的每个包都向下递增一个数

  3. Producer作为服务端的生产者，它是用来接收共享者发送的数据流，所以它里面包含多个RtpStreamRecv，是一对多的关系（为什么是多个RtpStreamRecv呢？因为数据的接收有可能会丢包，丢包重传的也算作一路流，对应的音频的丢包也是需要重传）

  4. 作为数据的接收端，RtpStreamRecv使用到了NackGenerator丢包产生器。接收端能够知道有没有丢包，因为数据包有Sequence，比如发送了100个数据，前50个数据是连续的，但假设当50之后是55，Recv端就知道丢了 51、52、53、54 这4个包了。丢包之后如何解决呢，有两种方式：

  5. Fec：在每个包增加一些冗余，它能计算 出丢失的音频包或视频包

  6. Nack：它会告诉发送端丢了哪些包，发送端会根据策略，若时间比较短的话，会把丢失的包补上来，具体补哪些包就是根据NackGenerator产生的

  7. Transport分为3种，WebRtcTransport（浏览器数据传输）、PlainRtpTransport（非音视频）、PipeTransport（不同router之间数据流转）。TransportTuple元组存放本地socket、远端socket、IP、端口

  8. 最核心的是WebRtcTransport，与浏览器进行数据传输。首先其包含UdpScoket与TcpServer对应两个链接，可以与客户端连接通信

  9. 对于UdpSocket与TcpServere，其继承自PortManager端口管理器，对于Mediasoup来说，默认是从40000到49999共一万个端口号。UdpSocket和TcpServer通过PortManager进行对端口号的管理，首先确定端口号有没有被占用，没有被占用就使用该端口号对数据传输；若被占用，就根据PortManager的策略往后跳。注意Udp和Tcp的使用是互斥的

  10. DtlsTransport：使用dtls对Rtp包进行数据加密的协议，同时在这里面还使用到了Srtp协议，Srtp协议分为数据的收与发，所以在WebRTCTransport中有Srtp send和recv这两个Session

  11. RembClient/RembServer：这两个主要用于对带宽的评估，既可用于client端也可用于server端。对于共享者来说，Mediasoup的WebRTCTransport就是RembClient端；对于消费者来说，就是RembServer端

  12. IceCandidate：候选者包括Host、Server reflexive、Relay reflexive三种，对于WebRTC一般设置成Host，最高优先级

相关文章：

Mediasoup源码介绍

一、Mediasoup 整体结构 整个Mediasoup库通过Nodejs管理，比如整体逻辑、worker、router、producer、consumer...都是通过JS进行管理的。 其底层的数据传输是通过C部分进行控制的，通过NodeJs来控制C部分，以实现整体的数据传输效 二、Mediasou…...

编程日记 2023/9/12 6:47:42

GIS入门，WKT格式详解

WKT介绍 WKT是Well-known Text的缩写，它是一种用于描述地理空间几何对象的文本格式。 WKT是一种开放的国际标准，由Open Geospatial Consortium（OGC）定义和维护。 WKT是一种标准的表示方法，可以用来描述点、线、面等地理空间对象的形状和位置。通过使用一系列的坐标点和关…...

编程日记 2023/9/12 6:46:42

Qt之postEvent

基本介绍 postEvent方法所属类为QCoreApplication，完整声明如下： [static] void QCoreApplication::postEvent(QObject *receiver, QEvent *event, int priority Qt::NormalEventPriority) 该方法的作用是将要发送的事件推送到对应线程的事件队列中&…...

编程日记 2023/9/12 6:45:41

1976~2020年青藏高原典型冰川及冰湖遥感监测数据集

冰川面积是反应气候变化最直接的指标之一。在全球变暖的大背景下，对于评估冰川融化造成的生态、全球气候变化和水资源价值评价等问题十分重要。本文针对受西风和印度洋夏季风影响下的青藏高原冰川及其末端冰湖的变化特征，制作了近44年来时相相对连续的冰…...

编程日记 2023/9/12 6:44:38

时序预测 | MATLAB实现LSSVM最小二乘支持向量机时间序列预测未来

时序预测 | MATLAB实现LSSVM最小二乘支持向量机时间序列预测未来 目录 时序预测 | MATLAB实现LSSVM最小二乘支持向量机时间序列预测未来预测效果基本介绍程序设计参考资料 预测效果 基本介绍 1.Matlab实现LSSVM时间序列预测未来(最小二乘支持向量机)； 2.运行环境Mat…...

编程日记 2023/9/12 6:43:38

windows10 使用WSL2安装原生docker

1.升级WSL2 我的 win10 wsl默认版本是1，先要升级WSL2不然不支持systemd(后台守护进程) 双击直接安装就行，安装包网上都能找到: Microsoft.WSL_1.3.17.0_x64_ARM64.msixbundle 执行 wsl --version 显示这样成功了: C:\Users\xx>wsl --version WSL …...

编程日记 2023/9/12 6:42:36

jupylab pandas按条件批量处理xls数据

批量处理xls表数据 引入相关包 import pandas as pd import xlrd import numpy as np# 去掉jupyleb警告 import warnings warnings.filterwarnings("ignore")from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity…...

编程日记 2023/9/12 6:41:35

RJ45水晶头网线顺序出错排查

线序 网线水晶头RJ45常用的线序标准ANSI / TIA-568定义了T568A与T568B两种线序，一般使用T568B，水晶头8个孔对应的8条线颜色如下图： 那1至8的编号，是从水晶头哪一面为参考呢，如下图，是水晶头金手指一面&am…...

编程日记 2023/9/12 6:40:34

【洛谷 P1115】最大子段和 题解（贪心算法）

最大子段和 题目描述 给出一个长度为 n n n 的序列 a a a，选出其中连续且非空的一段使得这段和最大。 输入格式 第一行是一个整数，表示序列的长度 n n n。 第二行有 n n n 个整数，第 i i i 个整数表示序列的第 i i i 个数字 a i …...

编程日记 2023/9/12 6:39:33

uni-app--》基于小程序开发的电商平台项目实战（一）

🏍️作者简介：大家好，我是亦世凡华、渴望知识储备自己的一名在校大学生 🛵个人主页：亦世凡华、 🛺系列专栏：uni-app 🚲座右铭：人生亦可燃烧，亦可腐败&#xf…...

编程日记 2023/9/12 6:38:31

入门人工智能 —— 学习一门编程语言 python 基础代码编写和运算符介绍（1）

入门人工智能 —— 学习一门编程语言 python（1） 入门流程1.安装pythonwindowslinux ubuntu 代码编写打印输出结果 基本加减法介绍基本运算符 随着人工智能技术的快速发展，越来越多的年轻人开始关注这个领域。作为入门者，学习人工智…...

编程日记 2023/9/12 6:37:29

【java安全】CommonsBeanUtils1

文章目录 【java安全】CommonsBeanUtils1前言Apache Commons BeanutilsBeanComparator如何调用BeanComparator#compare()方法？构造POC完整POC 调用链 【java安全】CommonsBeanUtils1 前言 在之前我们学习了java.util.PriorityQueue，它是java中的一个优…...

编程日记 2023/9/12 6:36:28

JVM优化(OOM,内存溢出)，查看线程快照，堆内存情况等问题

1：堆大小 新生代 老年代，新生代 ( Young ) 与老年代 ( Old ) 的比例的值为 1:2 ( 该值可以通过参数 –XX:NewRatio 来指定 ) 2：-Xmn参数总是应当小于-Xmx参数，否则就会触发OOM错误 3：jvm优化与查看gc回收情况&#x…...

编程日记 2023/9/12 6:35:01

git 给分支添加描述

需求:分支多了不知道当前分支的用处可以使用git br用来描述 效果: 全局安装命令 npm i -g git-br 项目内使用 git br 给f-230825-4-zhou分支备注 git config branch.f-230825-4-zhou.description 用来开发第四迭代需求 再次git br查看效果...

编程日记 2023/9/12 6:34:00

SpringBoot+Vue 整合websocket实现简单聊天窗口

效果图 1 输入临时名字充当账号使用 2 进入聊天窗口 3 发送消息 &#xff08;复制一个页面&#xff0c;输入其他名字&#xff0c;方便展示效果&#xff09; 4 其他窗口效果 代码实现 后端SpringBoot项目&#xff0c;自行创建 pom依赖 <dependency><groupId…...

编程日记 2023/9/12 6:32:59

PCB layout在布线上的设计规范有哪些？

PCB Layout是一项技术活&#xff0c;也是经验活&#xff0c;良好的PCB Layout布线可帮助工程师确保最终的电路板性能、可靠性和制造质量&#xff0c;因此是很多电子工程师的学习重点&#xff0c;下面我们来盘点下PCB Layout关于布线的规范有哪些。 1、地管的引脚接地越短越好&a…...

编程日记 2023/9/12 6:31:58

喜报丨迪捷软件入选浙江省2023年省级产业数字化服务商

近日&#xff0c;根据《关于组织开展2023年度省级产业数字化服务商申报工作的通知》要求&#xff0c;省经信厅公布2023年省级产业数字化服务商名单&#xff0c;浙江迪捷软件科技有限公司榜上有名。 省级产业数字化服务商上榜名单的评选在企业申报、地方推荐、专家评审、综合评估…...

编程日记 2023/9/12 6:30:57

verilog写rom，采用端口排序顺序例化

verilog写rom，采用端口排序顺序例化 1，介绍rom，以及rom与ram的区别2，RTL设计模块、门级网表以及testbench测试模块2.1 RTL设计2.2 门级网表2.3 testbench3，波形输出1，介绍rom，以及rom与ram的区别 参考文献： 1, 转载-ROM、RAM存储器原理详解以及DRAM、SRAM、SDRAM 、FLA…...

编程日记 2023/9/12 6:29:56

基于SSM的共享客栈管理系统的设计与实现

末尾获取源码 开发语言&#xff1a;Java Java开发工具&#xff1a;JDK1.8 后端框架&#xff1a;SSM 前端&#xff1a;采用JSP技术开发 数据库&#xff1a;MySQL5.7和Navicat管理工具结合 服务器&#xff1a;Tomcat8.5 开发软件&#xff1a;IDEA / Eclipse 是否Maven项目&#x…...

编程日记 2023/9/12 6:28:56

全屏Activity弹出键盘不顶起布局

最近遇到的一个问题是全屏Activity中要求弹出键盘不顶起布局&#xff0c;首先windowSoftInputMode的取值是有多个的&#xff0c;在全屏场景下adjustPan是没有用的&#xff0c;需要使用adjustResize首先确保键盘不顶起布局。 android:windowSoftInputMode"stateHidden|adju…...

编程日记 2023/9/12 6:27:54

智能语音转文字终极指南：如何用AsrTools轻松完成音频转字幕

智能语音转文字终极指南&#xff1a;如何用AsrTools轻松完成音频转字幕 【免费下载链接】AsrTools ✨ AsrTools: Smart Voice-to-Text Tool | Efficient Batch Processing | User-Friendly Interface | No GPU Required | Supports SRT/TXT Output | Turn your audio into accu…...

编程新知 2026/5/13 22:45:18

PowerToys深度解析：Windows生产力工具集的高级配置与性能调优

PowerToys深度解析&#xff1a;Windows生产力工具集的高级配置与性能调优 【免费下载链接】PowerToys Microsoft PowerToys is a collection of utilities that supercharge productivity and customization on Windows 项目地址: https://gitcode.com/GitHub_Trending/po/Po…...

编程新知 2026/5/13 22:12:33

从‘一片蓝’到‘五彩斑斓’：手把手教你美化Matlab三维柱状图，让论文图表脱颖而出

从‘一片蓝’到‘五彩斑斓’&#xff1a;科研级Matlab三维柱状图视觉优化全攻略 当审稿人翻开一篇论文时&#xff0c;图表往往是他们最先注意到的元素。我曾参与过多次学术期刊的评审工作&#xff0c;那些配色考究、细节精致的图表总能在第一时间抓住眼球——这不仅仅是审美问题…...

编程新知 2026/5/13 21:59:52

HC32F460_ADC驱动（二）

2 ADC工作的核心要素2.1 采样保持一般来说采样保持电路&#xff08;S/H&#xff09;是ADC转换的前端电路。由于模拟信号是时刻连续变化的&#xff0c;若转换过程中输入电压持续波动会导致转换结果失真。采样保持电路的核心作用是在ADC启动转换后保持输入信号不变&#xff0c;保…...

编程新知 2026/5/13 21:31:09

用Fiddler和Proxifier抓包分析易游网络验证API，手把手教你模拟合法请求

网络验证API抓包与模拟请求实战指南 在当今数字化产品生态中&#xff0c;网络验证机制已成为软件授权管理的核心组件。不同于传统的本地验证方式&#xff0c;网络验证通过远程API交互实现更高安全性的许可控制&#xff0c;这也使得协议层分析成为理解其工作原理的关键切入点。对…...

编程新知 2026/5/13 21:18:41

JavaScript中隐藏类HiddenClasses对对象访问的加速

JavaScript引擎通过隐藏类机制优化对象属性访问&#xff0c;按固定顺序初始化属性可复用内存布局&#xff0c;乱序或动态增删会导致降级为慢字典模式&#xff0c;构造函数中预声明所有属性是保持性能的关键。JavaScript引擎&#xff08;如V8&#xff09;通过隐藏类&#xff08;…...

编程新知 2026/5/13 20:43:00

别再死记硬背了！用Python和NumPy从零实现5大激活函数（附梯度消失/爆炸分析）

用Python和NumPy实战五大激活函数&#xff1a;从公式推导到梯度问题深度解析 在深度学习的世界里&#xff0c;激活函数如同神经元的"开关"&#xff0c;决定了信息能否在网络中流动。很多初学者面对教科书上抽象的数学公式时&#xff0c;常常陷入死记硬背的困境。本文…...

编程新知 2026/5/13 19:52:47

【实战指南】从零掌握关联规则：Apriori算法核心解析与Python商业场景应用

1. 关联规则挖掘的商业价值与核心概念 想象一下这个场景&#xff1a;周末你去超市采购&#xff0c;推着购物车在货架间穿梭时&#xff0c;发现尿布和啤酒竟然摆在相邻位置。这不是超市经理的恶作剧&#xff0c;而是关联规则挖掘的经典案例——通过分析购物篮数据&#xff0c;发…...

编程新知 2026/5/13 19:09:23

ue5 血条 渲染方形的分辨率 血条缩放的问题

项目设置中将Resize PIE Window to Output Resolution直接搜索Resize PIE Window to Output Resolution勾选即可...

编程新知 2026/5/13 18:52:22

FABRK全栈框架：模块化设计与AI辅助开发实战解析

1. 项目概述&#xff1a;一个为AI时代而生的全栈开发框架如果你和我一样&#xff0c;在过去几年里反复搭建过各种SaaS应用、管理后台或者数据看板&#xff0c;你一定会对那种重复劳动感到厌倦。每次新项目启动&#xff0c;都要重新配置身份验证、集成支付、设计仪表盘组件、处理…...

编程新知 2026/5/13 11:18:00