大牛直播SDK核心音视频模块探究

技术背景

视沃科技旗下”大牛直播SDK”，始于2015年，致力于传统行业极致体验的音视频直播技术解决方案，产品涵盖跨平台的实时RTMP推流、RTMP/RTSP直播播放(支持RTSP|RTMP H.265，Enhanced RTMP H.265)、GB28181设备接入、推送端播放端实时录像、多路流媒体转发(RTSP转RTMP，RTMP转RTMP，RTSP|RTMP转GB28181)、音视频导播、动态视频合成、音频混音、一对一互动直播、内置轻量级RTSP服务、RTSP网关服务等，比快更快，业界真正稳定可靠的超低延迟直播SDK(毫秒级延迟，低延迟模式下150~300ms)。

适用于在线教育、智慧教室|无纸化推屏|会议、运营商视频云平台、执法记录、电力巡检、智慧水利、智慧煤矿、管廊隧道、平衡操控、虚拟仿真实训教学、VR教育、云展会、金融双录、远程医疗、智能可视门禁对讲、智慧安防、智能家居、物联网、智能车载、传统硬件领域、媒体移动直播、应急指挥调度(针对保险、城管、交警、消防、公安等职能管理部门的单兵应急执法系统)、远程专家诊断、可视化巡检、(如电信/电力线路/铁路沿线/水利设施/油田/消防设施巡检)、移动视频安防监控，企业内训、监控对接等场景。

1. RTSP|RTMP直播播放器模块：
   • 跨平台支持：适用于 Windows、Android、iOS 等多个操作系统，为不同平台的应用提供直播播放功能。
   • 播放协议支持：支持高稳定、超低延迟的 RTMP、RTSP 直播播放，可快速打开直播流，在一秒内即可实现播放，延迟处于行业内较低水平。
   • 多实例播放：能够同时播放多路 RTMP、RTSP 流，满足多视频源同时监控等场景需求。
   • 事件回调：支持网络状态、缓冲状态等多种事件的回调，方便开发者实时掌握播放状态。
   • 视频格式支持：支持 RTSP H.265、RTMP 扩展 H.265、RTSP/RTMP H.264 等多种视频格式，可适配不同的视频编码需求。
   • 音频格式支持：支持 RTMP/RTSP 的 AAC、PCMA、PCMU 等音频格式，RTMP 还支持 Speex 音频格式。
   • 解码功能：支持 H.264/H.265 的软解码和硬解码，在 Android 和 iOS 平台还支持硬解码码自适应，能根据设备情况自动切换解码方式；在 Android 平台支持设置 surface 模式硬解和普通模式硬解码。
   • 播放控制功能：支持视频画面的多种渲染角度（0°、90°、180°、270°）设置、水平反转、垂直反转、实时静音 / 取消静音、实时快照、首屏秒开、低延迟模式设置等功能；还支持快速切换 URL、实时下载速度更新、音视频自适应等。
2. 录像模块：
   • 拉流录像：支持拉取 RTSP 流和 RTMP 流进行录像，包括推送端同步录像。
   • 功能灵活性：与推送、播放、转发、内置轻量级 RTSP 服务等功能模块完全分离，可随时进行录像，不受其他功能运行的影响；在录像过程中支持切换不同的 URL，根据 URL 配置情况可录制到同一个 MP4 文件或自动分割到下一个文件。
   • 参数设置：支持设置单个录像文件大小、录像路径等参数，并支持纯音频、纯视频、音视频等录制模式；还支持音频（如 PCMU、PCMA、Speex 等）转 AAC 后再录像。
   • 事件回调：从开始录像到录像结束均有事件回调，对网络堵塞、音视频同步等异常情况做了友好处理。
3. RTMP推流模块：
   • 平台覆盖：支持 Windows、Linux（x64_64 架构、aarch64）、Android、iOS 等平台，可采集摄像头、屏幕、麦克风、扬声器、编码前、编码后等多种数据进行推送。
   • 参数设置：支持设置帧率、关键帧间隔、码率等参数，在屏幕推送时支持屏幕裁剪，摄像头推送时支持摄像头选择、分辨率设置、帧率设置以及水平反转、垂直反转、旋转等操作；在 Windows 平台还支持 DXGI 采集设置、启 / 停用 Aero 等功能。
   • 推流模式：支持纯音频、纯视频、音视频推送，以及 RTMP 推送的 live（直播）、record（录制）模式设置。
   • 预览功能：支持推送端实时预览，方便用户在推送前查看推送内容。
   • 其他功能：支持实时动态水印、实时快照、降噪处理、自动增益控制、断网自动重连、网络状态回调等功能；支持扬声器和麦克风混音、外部编码前 / 后音视频数据对接、多种编码格式（如 H.264、H.265 等）和音频编码格式（如 AAC、Speex 等）。
4. 流媒体转发模块：
   • 拉流支持：支持拉取 RTSP 流和 RTMP 流，并且可以对拉取到的流进行本地预览和关闭预览操作。
   • 音频处理：支持拉取的 RTMP、RTSP 流静音，以及音频格式转码（如将 PCMA、PCMU、Speex 音频格式转 AAC 后再转发）。
   • 内容切换：支持转发过程中拉取的 RTMP、RTSP流实时内容切换。
   • 超低延迟转发：可将拉取的 RTSP、RTMP 流超低延迟转发到 RTMP 服务器，并且支持同时转发多路。
5. 内置轻量级 RTSP 服务模块：
   • 服务提供：对外提供 RTSP 服务，可同时开启多个 service，提供小规模并发访问，适用于内网环境下对并发要求不高的场景。
   • 数据接入：支持内外网 RTMP、RTSP 流接入，将数据汇聚到内置 RTSP 服务后，对外提供可供拉流的 RTSP URL；支持 H.264、H.265 视频格式以及 RTSP 鉴权、单播、组播模式。
6. 内网 RTSP 网关模块：
   • 功能扩展：是内置轻量级 RTSP 服务模块的扩展，可完成外部 RTSP、RTMP 数据的拉取并注入到轻量级 RTSP 服务模块。多个内网客户端可直接访问内网轻量级 RTSP 服务获取公网数据，无需部署单独的服务器，支持 RTSP、RTMP H.265 数据接入。
7. GB28181设备接入模块：
   • 服务提供：Android平台GB28181接入SDK（SmartGBD），可实现不具备国标音视频能力的 Android终端，通过平台注册接入到现有的GB/T28181—2016服务，可用于如执法记录仪、智能安全帽、智能监控、智慧零售、智慧教育、远程办公、明厨亮灶、智慧交通、智慧工地、雪亮工程、平安乡村、生产运输、车载终端等场景，可能是业内为数不多功能齐全性能优异的商业级水准GB28181接入SDK。

特点和模块优势

• 功能丰富全面：
  • 跨平台支持：涵盖 Windows、Linux、Android、iOS 多个平台，方便在不同设备和操作系统上进行开发和应用。
  • 多种媒体格式支持：支持常见的音视频编码格式，如 H.264、H.265 等视频格式，以及 AAC、PCMA、PCMU 等音频格式，还对一些特殊格式如 RTSP H.265 等也有良好支持，可满足多样化的播放需求。
  • 低延迟：能够将播放延迟控制在较低水平，部分场景下甚至可达到毫秒级延迟，这对于对实时性要求高的直播场景非常关键，能显著提升用户体验，且长时间运行下延迟累积较小。
  • 强大的播放功能：
    • 多实例播放：支持同时播放多路音视频流，比如在监控场景中可同时监控多个视频源，并且针对不同需求还做了优化，如在大屏监控场景下可设置部分路数只播放关键帧以节省系统开销，需要时再切换到全帧率播放。
    • 实时控制功能：包括实时静音 / 取消静音，方便在多窗口播放等场景下控制音量；支持视频画面的实时旋转（0°、90°、180°、270°）、水平反转、垂直反转，以适应不同安装角度的摄像头；还支持实时快照，能截取当前播放画面。
    • 良好的网络适应性：支持断网重连等各种网络环境自动适配，在网络状况不佳时也能尽量保持播放的稳定性；支持设置缓冲时间（buffertime），以应对网络抖动等不稳定情况；支持 TCP 和 UDP 模式的自动切换，提高了播放的兼容性和灵活性。
    • 其他功能：提供如视频填充模式（等比例显示）、实时音量调节、实时下载速度反馈（可设置回调时间间隔来监听网络状态）、异常状态处理及 event 状态回调等功能，满足多种细节需求。
  • 编码与推流功能：支持 RTMP 推流，可采集摄像头、屏幕、麦克风等数据进行编码和推送，还支持诸如帧率、关键帧间隔、码率等参数设置，以及屏幕裁剪、摄像头选择与参数设置等操作；在编码方面，支持多种音频编码格式，视频编码方面也有多种设置和优化选项，如支持特定机型的硬编码等。
  • 录像功能：支持拉取RTSP流或RTMP流进行录像，包括推送端同步录像；支持设置单个录像文件大小、录像路径等参数，并支持纯音频、纯视频、音视频录制模式；还支持音频转码等功能，且从开始录像到结束均有事件回调，对网络堵塞、音视频同步等情况做了友好处理。
  • 流媒体转发功能：支持将 RTMP/RTSP 流超低延迟转发到 RTMP 服务器，且支持同时转发多路；在转发过程中还支持拉取的 RTMP、RTSP 流静音、音频格式转码以及实时内容切换等功能。
  • 内置服务与网关功能：内置轻量级 RTSP 服务和 RTSP 网关服务，可对外提供 RTSP 服务，能同时开启多个 service 提供小规模并发访问；内网 RTSP 网关 SDK 可完成外部 RTSP/RTMP 数据拉取并注入到轻量级 RTSP 服务中，多个内网客户端可直接访问内网轻量级 RTSP 服务获取公网数据，无需部署单独的服务器，支持 RTSP/RTMP H.265 数据接入。
• 性能优异：
  • 高稳定性：具备高稳定性，能够长时间稳定运行，减少因播放器故障或其他问题导致的直播中断等情况，适用于需要长时间持续运行的应用场景，如长时间的直播活动、监控系统等。
  • 资源占用低：在实现丰富功能的同时，能有效控制资源占用，使其在各种设备上的运行更加高效，减少对设备性能的过度依赖，这对于一些硬件资源有限的设备（如部分移动设备）尤为重要。
  • 良好的兼容性：与各种标准的 RTMP 服务器或 CDN 有较好的兼容性，降低了部署和集成的难度，同时对于不同的网络环境、服务器配置以及硬件设备都有较好的适配能力，减少了因兼容性问题导致的故障和异常。
• 易于集成与使用：提供简洁明了的接口设计，方便开发者快速低代码对接和集成，降低了开发的难度和复杂度，开发者能够较为轻松地将其集成到自己的应用中，快速实现相关的直播、播放、推流等功能；同时还提供完善的技术支持和文档说明，帮助开发者在使用过程中快速上手并解决遇到的问题。

总结

任何技术产品都不是完美的，大牛直播 SDK 可能也存在一些局限性或不足之处，对于一些小众化或特定的非标准需求，可能需要进行额外的定制开发或配置才能满足。

总体而言，大牛直播 SDK 在功能、性能、易用性和安全性等方面都有较为出色的表现，在行业内具有较高的知名度和市场份额，得到了众多企业和开发者的认可，是一款值得考虑的流媒体解决方案。但在具体选择和使用时，建议根据实际项目需求进行充分的评估和测试，以确保其能够完全满足特定应用场景的要求。如果你对其具体的功能或性能有更详细的问题，也可以直接联系大牛直播的技术支持团队获取更准确的信息。