Qt/C++音视频开发79-采集websocket视频流/打开ws开头的地址/音视频同步/保存到MP4文件/视频回放

一、前言

随着音视频的爆发式的增长，各种推拉流应用场景应运而生，基本上都要求各个端都能查看实时视频流，比如PC端、手机端、网页端，在网页端用websocket来接收并解码实时视频流显示，是一个非常常规的场景，单纯的http-flv模式受限于最大6个通道同时显示，一般会选择ws-flv也就是websocket的flv视频流，这种突破了6个的限制，而且实时性很好，音视频也都有，264/265都支持，webrtc不支持265很恼火，现在这么多265摄像头，尽管webrtc实时性最好，但是不支持265这一点，就几乎少掉一大半用户，尤其是视频监控行业。

以前也就思考过，既然是264/265的视频流过来，收到后用ffmpeg直接解码应该就可以播放，受限于之前的认知有限，以为一定要一个打开的地址才行，比如ffmpeg中常规操作就是avformat_open_input中填入一个地址，这个地址可以是本地音视频文件，也可以是网络视频流等，反正要有一个地址才行。直到近期要解决如何采集ws://这种地址的视频流的时候，才彻底静下心来研究这一块。原来ffmpeg从ffmpeg2开始就一直有这个机制，并不是一定要地址的，也可以是内存中的数据，需要定义一个AVIOContext对象，然后将formatCtx->pb赋值就完事，那边通过avio_alloc_context的回调函数获取数据即可。你只需要打开websocket收到数据，往缓存接口存数据就好，ffmpeg在调用打开也好读取av_read_frame也好，都会从缓存数据中取数据，取到数据就去解码。也就是在原来的代码基础上，加上少量的几十行代码就好，整