UE中低延时播放RTSP监控视频解决方案

第1章 方案简介

1.1 行业痛点

在各种智慧城市、智慧社区、智慧水利、智慧矿山等数字孪生项目中，经常使用通UE来开发三维可视化场景。在这些场景中通常都需要把现场的各种监控视频在UE的可视化场景中接入，主要包含海康威视、大华、宇视、华为等众多监控厂商的设备与平台，监控视频流都是通过RTSP协议实时传送。

但是，在UE中没有好用的RTSP实时流播放插件，当前仅有一款UMP播放插件（基于VLC播放器开发的，但是延时很大，通常在3秒以上），根本无法满足实时播放的需要。比如远程指挥和应急通信、抢险救灾等应用，要求端到端延时在500ms以内，否则基于这种过时的视频信号做出的所有判断和决定将带来极其严重的后果，比如通过视频远程操控无人机、远程操控无人驾驶车辆等。

部分安防监控厂商也推出了视频播放解决方案，比如海康的统一视频监控平台可以输出HLS的m3u8格式的网络流，这种格式可以在H5浏览器中播放，嵌入到UE中调用CEF嵌入式浏览器播放时延时更大（通常在10秒以上），也远远无法满足项目需求。

因此，行业内急需一套成熟的低延时视频接入解决方案，从而满足基于UE开发的各种可视化平台业务的需要。

第2章 解决方案实现

经过十多年的流媒体技术研发积累和对当前各种应用场景的调研分析，北京顺景科技有限公司历时两年多时间开发了一款通用的低延时视频接入解决方案，我们采用B/S架构方式来实现这个功能，该方案可以实现在终端H5浏览器中超低延时播放，端到端播放延时可以控制在500ms以内，在UE中可以调用CEF实现嵌入式播放。实现效果如下：

UE中低延时播放RTSP视频

2.1 技术架构

首先，该方案基于多协议视频转码技术和低延时流媒体直播发布技术来实现，整个方案的架构如下：

2.2 功能模块构成

该方案主要由三部分组成，分别是低延时转码推流工作站、低延时流媒体发布服务器、低延时H5网页播放器：
1. 低延时转码推流工作站
主要功能是将前端监控摄像头的RTSP网络流拉取后进行实时转码，然后推送给低延时流媒体发布服务器。
该工作站根据不同的使用环境，可以采用软件+PC架构实现，也可以采用嵌入式低功耗设备实现（主要用于户外场景不便于维护的场合）。

2. 低延时流媒体发布服务器
用于接收低延时转码推流工作站推送上来的视音频信号，然后将其以流媒体的方式进行实时发布。
该平台采用通用的硬件服务器+流媒体平台软件来实现，可以为用户有效节省投资。
低延时流媒体发布服务器 可以实现如下功能：
1） 支持上千个网络摄像头的并发接入；
2） 支持PC、智能手机、等多终端设备通过H5浏览器直接播放；
3） 单台服务器支持1000以上用户并发收看；
4） 支持按需拉流转发，从而节约服务器端的带宽资源消耗；
5） 支持直播节目的同步录制功能，录制完成后可以自动生成点播内容；
6） 支持服务器的性能和状态监控，包括CPU和内存占用率、实时连接数、网络带宽占用等。
7） 多终端自动适配技术。
针对当前主流的客户端设备，我们开发了终端自适应播放功能，可以自动适配PC端的主流浏览器（Fifrfox、Chrome、Safari），Android端的HTML5浏览器，iOS端的HTML5浏览器，微信小程序等。

3. 低延时H5 网页播放器
该播放器主要用于实时接收流媒体服务器发布的直播流，然后将其以H5的方式进行实时解码播放。该播放器经过深度优化设计，只缓冲1~2帧数据，具有快速接收和解码能力。主要特性如下：
1） 接收和解码延时极低，通常在40ms左右，最高不超过80ms；
2） 支持MSE硬件加速解码；
3） 支持主流的浏览器，包括UE嵌入式CEF浏览器、Chrome、Edge、Fifrfox、Safari等；
4） 支持高清和VR视频播放；
5） 可以适配多种操作系统终端，包括Windows系统、Linux系统、Android系统、iOS系统、国产信创系统（麒麟、统信等）；

2.3 方案效果

经过大规模的应用场景使用，当前该系统可以达到如下效果：
在局域网和专网环境下，端到端的直播延时通常在300ms以内；
在互联网环境下，端到端的直播延时通常在500ms以内；
在UE的CEF内嵌式播放中，可以支持到4K@60FPS实时解码，画面播放流畅。

UE中的嵌入式播放效果
2.4 在线测试
我们搭建了一个公网的在线测试环境，感兴趣的朋友可以通过该系统自行测试，
http://www.shunjingtech.com/xmms/pc.html