qt+gstreamer快速创建一个流媒体播放器

目录 

1 前言

2 playbin3

3 videooverlay

4 关键代码

5 运行示例

---

1 前言

最近因为工作需求，要实现一个桌面流媒体播放器来支持常见的流媒体协议，经过调研发现使用gstreamer配合一些桌面级的gui应用开发工具如qt可以进行快速实现，在此进行记录。

2 playbin3

gstreamer是一个基于组件(element)的多媒体开发框架，并且已经提供了非常多的组件，比如文件源/网络源、parser、编解码器、音视频播放sink等，使用这些组件构造成一个pipeline后就可以直接使用了。除了基础组件外，gstreamer还提供了一些上层的已经封装好的容器组件(bin),比如这次我们要用到的playbin3就是一个高级的多媒体播放组件，里面对网络协议、parseer、解码器(包括硬解码)、音视频播放等进行了封装，另外playbin3对视频硬解码以及硬件渲染的支持也很好，作为使用者只需进行创建、设置一些属性、运行即可，使用起来很简单。并且playbin3除了可以播放本地文件外，对于常见的流媒体协议都进行了支持，包括rtmp、http-flv、rtsp等。

3 videooverlay

videooverlay 是gstreamer 中的一个接口，主要用于将视频渲染到外部窗口（例如gtk、qt 或sdl窗口）。它允许应用程序控制视频的显示区域，并且可以在不同的窗口系统（如 X11、Wayland、Windows 或 macOS）上工作。

下面gstreamer中用于视频播放的sink组件都支持videooverlay接口：

1. xvimagesink（X11 Xv 扩展）
2. glimagesink（OpenGL 渲染）
3. waylandsink（Wayland 渲染）
4. d3dvideosink（Windows Direct3D）
5. sdlvideosink（SDL2 渲染）

借助playbin3组件和videooverlay接口，我们就可以使用gstreamer和qt快速搭建一个流媒体播放器。

4 关键代码

#include "gstreamerwidget.h"
#include "ui_gstreamerwidget.h"
#include <QVBoxLayout>
#include <QLabel>GStreamerWidget::GStreamerWidget(QWidget *parent): QWidget(parent), ui(new Ui::GStreamerWidget)
{ui->setupUi(this);setWindowTitle("gstreamer qt player");setGeometry(200, 200, 1280, 800);// layoutQVBoxLayout *layout = new QVBoxLayout(this);QLabel *videoLable = new QLabel(this);videoLable->setStyleSheet("background-color: black;");layout->addWidget(videoLable);QHBoxLayout *h_layout = new QHBoxLayout();edit = new QLineEdit(this);edit->setText("file:///C:/Users/15290/Desktop/video/he.mp4");h_layout->addWidget(edit);play_button = new QPushButton("play", this);h_layout->addWidget(play_button);layout->addLayout(h_layout);// gstreamergst_init(NULL, NULL);pipeline = gst_element_factory_make("playbin3", "player");GstElement *video_sink = gst_element_factory_make("autovideosink", nullptr);g_object_set(pipeline, "video-sink", video_sink, nullptr);WId winId = videoLable->winId();gst_video_overlay_set_window_handle(GST_VIDEO_OVERLAY(pipeline), winId);connect(play_button, &QPushButton::clicked, this, &GStreamerWidget::playVideo);
}GStreamerWidget::~GStreamerWidget()
{delete ui;gst_element_set_state(pipeline, GST_STATE_NULL);g_object_unref(pipeline);
}void GStreamerWidget::playVideo()
{if (!playing) {g_object_set(pipeline, "uri", edit->text().toUtf8().data(), nullptr);gst_element_set_state(pipeline, GST_STATE_PLAYING);play_button->setText("stop");} else {gst_element_set_state(pipeline, GST_STATE_READY);play_button->setText("play");}playing = !playing;
}

5 运行示例