Android终端GB28181音视频实时回传设计探讨

技术背景

好多开发者，在调研Android平台GB28181实时回传的时候，对这块整体的流程，没有个整体的了解，本文以大牛直播SDK的SmartGBD设计开发为例，聊下如何在Android终端实现GB28181音视频数据实时回传。

技术实现

Android终端除支持常规的音视频数据接入外，还可以支持移动设备位置(MobilePosition)订阅和通知、语音广播和语音对讲、云台控制回调和预置位查询，可以考虑支持对接数据类型如下：

• 编码前数据（目前支持的有YV12/NV21/NV12/I420/RGB24/RGBA32/RGB565等数据类型）；
• 编码后数据（如无人机等264/HEVC数据，或者本地解析的MP4音视频数据）；
• 拉取RTSP或RTMP流并接入至GB28181平台（比如其他IPC的RTSP流，可通过Android平台GB28181接入到国标平台）。

如果要做个技术通用且功能齐全的Android平台GB28181实时音视频回传模块，一般来说，需要涉及的功能的如下：

•  ​[视频格式]H.264/H.265(Android H.265硬编码)；
•  [音频格式]G.711 A律、AAC；
•  [音量调节]Android平台采集端支持实时音量调节；
•  [H.264硬编码]支持H.264特定机型硬编码；
•  [H.265硬编码]支持H.265特定机型硬编码；
•  [软硬编码参数配置]支持gop间隔、帧率、bit-rate设置；
•  [软编码参数配置]支持软编码profile、软编码速度、可变码率设置；
• 支持纯视频、音视频PS打包传输；
• 支持RTP OVER UDP和RTP OVER TCP被动模式；
• 支持信令通道网络传输协议TCP/UDP设置；
• 支持注册、注销，支持注册刷新及注册有效期设置；
• 支持设备目录查询应答；
• 支持心跳机制，支持心跳间隔、心跳检测次数设置；
• 支持移动设备位置(MobilePosition)订阅和通知；
•  适用国家标准：GB/T 28181—2016；
• 支持语音广播；
• 支持语音对讲；
• 支持图像抓拍；
• 支持历史视音频文件检索；
• 支持历史视音频文件下载；
• 支持历史视音频文件回放；
• 支持云台控制和预置位查询；
•  [实时水印]支持动态文字水印、png水印；
•  [镜像]Android平台支持前置摄像头实时镜像功能；
•  [实时静音]支持实时静音/取消静音；
•  [实时快照]支持实时快照；
•  [降噪]支持环境音、手机干扰等引起的噪音降噪处理、自动增益、VAD检测；
•  [外部编码前视频数据对接]支持YUV数据对接；
•  [外部编码前音频数据对接]支持PCM对接；
•  [外部编码后视频数据对接]支持外部H.264数据对接；
•  [外部编码后音频数据对接]外部AAC数据对接；
•  [扩展录像功能]支持和录像SDK组合使用，录像相关功能。​

系统要求：

• SDK支持Android 5.1及以上版本；
• 支持的CPU架构：armv7, arm64, x86, x86_64。

前期准备：

• 满足系统要求：确保 Android 设备的系统版本为 5.1 及以上，以支持相关的功能和库。
• 添加权限：在 AndroidManifest.xml 文件中添加必要的权限，如网络访问权限<uses-permission android:name="android.permission.internet"></uses-permission>、存储权限<uses-permission android:name="android.permission.write_external_storage"></uses-permission>等，这些权限是实现数据传输和存储所必需的。
• 引入库文件：将相关的库文件添加到项目中，例如 smartavengine.jar 和 smartgbsipagent.jar 等。同时，将对应的 .so 文件（如 libsmartpublisher.so 和 libsmartplayer.so，如果需要语音广播或语音对讲功能）拷贝到项目中。
• 配置构建文件：在 build.gradle 文件中进行相关配置，比如配置 32 位和 64 位库的支持，以确保应用能够在不同架构的 Android 设备上运行。

信令交互：

• 注册与登录：设备需要向 GB28181 平台进行注册，发送注册请求并等待平台的响应。注册信息包括设备的唯一标识、IP 地址、端口号等。在 Android 中，通过调用相关的 GB28181 库函数来实现注册功能。例如，设置服务器参数gb28181_agent_.setServerParameter(gb28181_sip_server_addr_, gb28181_sip_server_port_, gb28181_sip_server_id_, gb28181_sip_domain_)，其中包括服务器地址、端口、服务器 ID 和域等信息。
• 心跳机制：为了保持与平台的连接，设备需要定期向平台发送心跳消息，以告知平台设备仍然在线。设置心跳间隔和心跳检测次数等参数，例如 gb28181_agent_.config(gb28181_reg_expired_, gb28181_heartbeat_interval_, gb28181_heartbeat_count_)。
• 事件处理：实现对平台发送的各种信令的处理，如订阅、查询等请求的响应。例如，当平台发起位置订阅请求时，设备需要按照订阅时间间隔，实时上报当前位置信息。

视频采集与编码：

• 视频采集：使用 Android 设备的摄像头进行视频采集。可以通过 Camera 类或者更高版本的 Camera2 API 来获取摄像头的视频数据。设置视频的分辨率、帧率等参数，以满足实际需求。
• 视频编码：对采集到的视频数据进行编码，使其符合 GB28181 标准要求的编码格式，如 H.264 或 H.265。在 Android 中，可以使用 MediaCodec 类进行硬件加速编码，提高编码效率。

数据传输：

• 建立连接：根据 GB28181 协议的要求，使用 SIP 协议建立与平台的会话连接。在连接建立过程中，需要指定传输协议（如 UDP 或 TCP）和端口号等信息。
• 数据发送：将编码后的视频数据封装成 RTP 数据包，并通过建立的连接发送到 GB28181 平台。在发送过程中，需要注意网络状况，对数据进行适当的分包和组包处理，以确保数据的正确传输。

异常处理：

• 网络异常：当网络出现异常时，如网络断开或连接超时，需要及时进行重连或重新注册等操作，以保证数据的实时回传。
• 设备故障：当设备出现故障或异常情况时，如摄像头故障或编码失败，需要及时进行错误处理，并向平台发送相应的错误报告。

总结

Android 上实现 GB28181 实时回传，我们从前期准备、信令交互、视频采集与编码、数据传输和异常处理这几个关键方面进行阐述。前期准备包括满足系统要求、添加权限、引入库文件和配置构建文件，为后续的开发提供基础环境。信令交互涵盖注册与登录、心跳机制和事件处理，确保设备与平台的正常通信。视频采集与编码部分介绍了如何利用 Android 设备的摄像头进行视频采集以及对采集到的数据进行编码。数据传输则说明了如何建立连接和发送数据。最后，异常处理考虑了网络异常和设备故障等情况的应对措施。以上是大概的设计思路，感兴趣的开发者，可以单独跟我沟通探讨。