[2015~2024]SmartMediaKit音视频直播技术演进之路

技术背景

2015年，因应急指挥项目需求，我们实现了RTMP推送音视频采集推送（采集摄像头和麦克风数据）模块，在我们做好了RTMP推送模块后，苦于没有一个满足我们毫秒级延迟诉求的RTMP播放器，于是第一款低延迟的RTMP播放器，就这么诞生了。

随着时间的推进，大牛直播SDK（SmartMediaKit）已经成为音视频高稳定、低延迟的代名词，涵盖跨平台（Windows、Linux（x64_64架构|aarch64）、Android、iOS）的实时RTMP推流、RTMP/RTSP直播播放(支持RTSP|RTMP H.265，Enhanced RTMP H.265)、GB28181设备接入、推送端播放端实时录像、多路流媒体转发(RTSP转RTMP，RTMP转RTMP，RTSP|RTMP转GB28181)、音视频导播、动态视频合成、音频混音、一对一互动直播、内置轻量级RTSP服务、RTSP网关服务等，已然成为业内为数不多的比快更快，真正稳定可靠的超低延迟直播SDK(毫秒级延迟，低延迟模式下150~300ms)。

低延迟的音视频直播技术解决方案适用于在线教育、智慧教室|无纸化推屏|会议、运营商视频云平台、执法记录、电力巡检、智慧水利、智慧煤矿、管廊隧道、平衡操控、虚拟仿真实训教学、VR教育、云展会、金融双录、远程医疗、智能可视门禁对讲、智慧安防、智能家居、物联网、智能车载、传统硬件领域、媒体移动直播、应急指挥调度(针对保险、城管、交警、消防、公安等职能管理部门的单兵应急执法系统)、远程专家诊断、可视化巡检、(如电信/电力线路/铁路沿线/水利设施/油田/消防设施巡检)、移动视频安防监控，企业内训、监控对接等场景。

技术特点

大牛直播SDK是一套功能强大的跨平台流媒体内核组件，具有以下特点和优势：

功能丰富：

• 多种数据采集与推送：支持多摄像头、屏幕、麦克风等数据采集与推送功能。可以选择摄像头列表、设置摄像头的分辨率和帧率等参数；对于屏幕采集，支持屏幕裁剪，可根据帧率和推送分辨率自动推荐码流，并且默认帧率可调整。还支持外部 H.264 接口输入等扩展数据采集方式。
• 灵活的合成与叠加：支持摄像头和屏幕的多种合成与叠加模式，如摄像头叠加到屏幕、屏幕叠加到摄像头等，并支持实时关闭叠加层。此外，还能设置实时水印，包括文字水印、实时时间水印和图片水印，以及设置透明度处理（遮盖）等功能。
• 音频处理全面：支持扬声器和麦克风音频混音输出，可采集电脑输出的音频或麦克风音频。在音频编码方面，默认是 AAC 编码模式，如需码率更低，也可选择 SPEEX 编码模式。同时具备音频 “端点检测（VAD）”、回音消除、噪音抑制、自动增益控制等音频处理功能。
• 推送与播放功能多样：支持多种音视频格式的推送，如 H.264、AAC、Speex、PCMA、PCMU 等。在播放方面，支持 RTMP、RTSP 直播播放，提供软解码、硬解码设置，具有实时静音、快照、view 旋转、秒开等功能，还支持多实例播放以及网络状态和 buffer 状态等回调。
• 录像与文件处理：支持 RTMP、RTSP 流录制，音频转 AAC 后录制，以及只录制音频或视频等模式，并且文件可自动切分。支持设置录像文件前缀、录像文件大小、录像文件是否增加日期和时间等。
• 内置服务与设备接入：具有内置轻量级 RTSP 服务，支持对外提供 RTSP 服务，可同时开启多个 service，提供小规模并发访问；还支持 GB28181 设备接入，可实现不具备国标音视频能力的 Android 终端通过平台注册接入到现有的 GB/T28181 服务。

技术优势明显：

• 低延迟：能够将播放延迟稳定地控制在较低水平，在低延迟模式下可达到 150 - 300ms，这对于对实时性要求较高的直播、互动等场景非常重要，能够显著提升用户体验。
• 高稳定性：可以长时间稳定运行，减少因播放器故障导致的直播中断等问题，适用于需要长时间持续运行的应用场景。
• 全自研框架与模块化设计：采用全自研框架，具备高度可扩展性与自适应算法，资源占用低，灵活性强。开发者可以根据自己的需求选择功能模块进行组合使用。
• 多平台支持：支持 Windows、Linux、Android、iOS 等多个平台，满足不同设备和应用场景的需求。

应用场景广泛：

• 在线教育：教师可通过该 SDK 进行实时授课，支持屏幕共享、文档展示、PPT 讲解等功能，实现远程协作和讨论，还可用于教学视频的实时录制、回放和分享。
• 智慧安防：用于城市监控、企业安防、智能家居等场景的实时视频流传输和录制，为应急指挥调度工作提供低延迟、高稳定性的直播服务。
• 媒体直播：适用于新闻直播、体育赛事直播、娱乐直播等移动直播场景，以及演唱会、发布会、展览等活动的现场直播，支持远程观众与现场活动的实时互动。
• 远程医疗：医生可进行远程会诊，与异地专家进行实时视频交流和病例讨论，还支持手术过程的实时直播和录制，为医学教育和手术观摩提供便捷途径。
• 其他行业：如可视化购物、远程专家诊断、可视化巡检等场景也能得到很好的应用。

近十年的技术积累，让大牛直播SDK凭借其丰富的功能、优秀的技术优势和广泛的应用场景，为开发者提供了强大的流媒体解决方案，在直播、安防、教育、医疗等多个领域具有较高的应用价值。

我们始终相信：Faster than “Fastest”，Smarter than “Smartest”，Stabler than “Stablest”。

厚积薄发，登上山顶，不是为了饱览风光，是为了寻找更高的山峰，从敬畏到颠覆，以匠人之心，专注、极致、智慧，志在成为业内为数不多真正稳定可靠的流媒体技术方案缔造者。