dxva2+ffmpeg硬件解码（Windows）终结发布

《dxva2超低延迟视频播放器》演示demo下载URL：

【免费】dxva2硬解码超低延迟网络+本地播放器资源-CSDN文库

本地播放 截图：

rtsp播放截图（推送内容为本地桌面，所以是这样的）

OK，进入主题：

前前后后写了4篇文章解决"dxva2+ffmpeg硬件解码"遇到的问题，这篇文章做个demo并发布直播流视频播放器正式测试版本：

播放器特点：

1、超低延迟播放器（100ms左右）

2、秒开技术（1秒）

3、各种流媒体网络协议支持，如rtmp,rtmp,rtp,udp,tcp,hls,http,srt等

4、超时断开重连机制

5、dxva2硬解码+软解码D3D显示，超低CPU占有率

6、支持4K视频，10bit视频，支持各种视频格式，如mp4,mkv,wmv,mov,ts等等

7、支持本地各种语言的文件路径及文件名（utf-8）

8、源码内把dxva2封装为类，可以在进程内打开多个播放器同时进行dxva2硬解码。

9、提供d3d高速渲染RGB32，I420，NV12数据，并封装为类

。。。

《dxva2超低延迟视频播放器》搭建环境：

windows下，服务器采用ZLMediaKit，推送端采用ffmpeg直接推送桌面，接收端播放器为本播放器

以下以源码+文字说明的形式一一说明：

1、超低延迟的实现：

其实就一句话：

fc->flags = AV_CODEC_FLAG_LOW_DELAY;

（fc的定义：AVFormatContext *fc）

这样设置后，解码器就没缓存了，有数据就直接可以获取

2、秒开技术：

就是首帧显示出来的时间。当然越短越好！

也是一句话：

fc->max_analyze_duration = 1 * AV_TIME_BASE;

最大分析持续时间，设置的1秒，这个只能根据经验设置。默认的话这个时间会很长很长。

3、各种流媒体网络协议支持：（打开URL超时设置）

支持的协议就不说明了，这是ffmpeg 的功劳，哈哈

第一点，这里不得不说下各种协议下的打开URL超时设置，如果URL不存在或者不通畅，程序会死掉很久时间，这里就必须要设置一个超时返回失败的设置，各个网络协议的设置不尽相同：

直接贴代码吧，简单易懂！

    const char *timeout = "1000000";if (wcsncmp(m_url, L"rtmp",4)==0)av_dict_set(&opts, "rw_timeout", timeout, 0);//rtmp设置超时1秒else if (wcsncmp(m_url, L"rtsp", 4) == 0)av_dict_set(&opts, "stimeout", timeout, 0);//rtsp设置超时1秒elseav_dict_set(&opts, "timeout", timeout, 0);//udp和http设置超时3秒

第二点说下，打开过程中的断开判断，直接贴代码：

    第一步，播放器初始化时：

    fc = avformat_alloc_context();
    fc->interrupt_callback.callback = CheckInterrupt;//播放中的超时回调
    fc->interrupt_callback.opaque = 0; 

m_ntime_timeout=0;

第二🙅步，获取数据的线程里面：        

m_ntime_timeout = ::GetTickCount();
        AVPacket pkt = { 0 };
        if (av_read_frame(fc, &pkt) == 0)

这样在回调函数CheckInterrupt里，如果数据读取超时或失败，那么

static int CheckInterrupt(void* ctx)
{
    if (m_ntime_timeout != 0 && ::GetTickCount() - m_ntime_timeout >= 3000)//超时了
    {
        m_bOpened = false;
        g_exitcode = 1;
    }
    else
        g_exitcode = 0;
    return g_exitcode;
}

我们就判定这个连接已经断开了，需要重连！接着看下面

4、超时断开重连机制：

由于avformat_open_input是同步方式打开URL的模式，所以打开前只能死等，由于没找到异步打开的方式，只能自己实现，其实原理不难，就是创建一个打开URL的线程，每隔1秒判断是否在打开状态，如果不是就尝试打开，一个死循环即可。

//异步打开线程
unsigned int __stdcall OpenThread(void * pParam)
{
    for (;;)
    {
        if (!m_bOpenTheadRuning)
            break;
        if (!m_bOpened)//没打开就打开
        {
            Open2(m_hWnd);
        }

        Sleep(1000);
    }
    return 0;
}

5、dxva2硬解码+软解码D3D显示，超低CPU占有率：

没啥说的，dxva2反正就是爽，因为不需要指定显卡，只要支持dxva2协议的显卡都能进行硬解码。硬解码CPU占用肯定低啦。其他硬解码方式也行但是通用性不强，因为你事先不知道是何种显卡，比如常用的英伟达，intel，AMD，还有不常用的比如有些国产CPU如兆芯带的显卡等，所以DXVA2是通用的和最常用的硬解码方式之一。

6、支持4K视频，支持各种视频格式，如mp4,mkv,wmv,mov,ts等等

如果节目源为4K视频，单纯的用CPU解码占有率会很高，而且帧率也达不到30帧，甚至更低。所以此时DXVA2的优势即可体现，实测用INTEL HD630低端显卡，解码4K 10bit HEVC视频，最高解码帧率可以达到300帧左右，CPU占有率3%，GPU72%。

查看DXVA2协议，应该是支持10bit视频的，网上下载的源码是不支持的。

修改后支持10bit的核心代码：

static int dxva2_create_decoder(AVCodecContext *s)
{InputStream  *ist = (InputStream *)s->opaque;int loglevel = (ist->hwaccel_id == HWACCEL_AUTO) ? AV_LOG_VERBOSE : AV_LOG_ERROR;DXVA2Context *ctx = (DXVA2Context *)ist->hwaccel_ctx;struct dxva_context *dxva_ctx = (dxva_context *)s->hwaccel_context;GUID *guid_list = NULL;unsigned guid_count = 0, i, j;GUID device_guid = GUID_NULL;D3DFORMAT target_format = D3DFMT_UNKNOWN;DXVA2_VideoDesc desc = { 0 };DXVA2_ConfigPictureDecode config;HRESULT hr;int surface_alignment;int ret;hr = ctx->decoder_service->GetDecoderDeviceGuids(&guid_count, &guid_list);if (FAILED(hr)) {av_log(NULL, loglevel, "Failed to retrieve decoder device GUIDs\n");goto fail;}for (i = 0; dxva2_modes[i].guid; i++) {D3DFORMAT *target_list = NULL;unsigned target_count = 0;const dxva2_mode *mode = &dxva2_modes[i];if (mode->codec != s->codec_id)continue;for (j = 0; j < guid_count; j++) {//if (IsEqualGUID(*mode->guid, guid_list[j]))//    break;if (IsEqualGUID(*mode->guid, guid_list[j])){if (s->pix_fmt == AV_PIX_FMT_YUV420P10LE || s->pix_fmt ==AV_PIX_FMT_YUV420P10BE){if (*mode->guid == DXVA2_ModeHEVC_VLD_Main10)break;continue;}elsebreak;}}if (j == guid_count)continue;hr = ctx->decoder_service->GetDecoderRenderTargets(*mode->guid, &target_count, &target_list);if (FAILED(hr)) {continue;}//for (j = 0; j < target_count; j++) {//    const D3DFORMAT format = target_list[j];//    if (format == MKTAG('N', 'V', '1', '2')) {//        target_format = format;//        break;//    }//}for (j = 0; j < target_count; j++) {const D3DFORMAT format = target_list[j];D3DFORMAT f0 = (D3DFORMAT)MKTAG('N', 'V', '1', '2');D3DFORMAT f1 = (D3DFORMAT)MKTAG('P', '0', '1', '0');if (format == MKTAG('N', 'V', '1', '2') || format == MKTAG('P', '0', '1', '0')){target_format = format;break;}}CoTaskMemFree(target_list);if (target_format) {device_guid = *mode->guid;break;}}CoTaskMemFree(guid_list);if (IsEqualGUID(device_guid, GUID_NULL)) {av_log(NULL, loglevel, "No decoder device for codec found\n");goto fail;}desc.SampleWidth = s->coded_width;desc.SampleHeight = s->coded_height;desc.Format = target_format;ret = dxva2_get_decoder_configuration(s, &device_guid, &desc, &config);if (ret < 0) {goto fail;}/* decoding MPEG-2 requires additional alignment on some Intel GPUs,but it causes issues for H.264 on certain AMD GPUs..... */if (s->codec_id == AV_CODEC_ID_MPEG2VIDEO)surface_alignment = 32;/* the HEVC DXVA2 spec asks for 128 pixel aligned surfaces to ensureall coding features have enough room to work with */else if (s->codec_id == AV_CODEC_ID_HEVC)//surface_alignment = 128;surface_alignment = 16;elsesurface_alignment = 16;/* 4 base work surfaces */ctx->num_surfaces = 4;/* add surfaces based on number of possible refs */if (s->codec_id == AV_CODEC_ID_H264 || s->codec_id == AV_CODEC_ID_HEVC)ctx->num_surfaces += 16;else if (s->codec_id == AV_CODEC_ID_VP9)ctx->num_surfaces += 8;elsectx->num_surfaces += 2;/* add extra surfaces for frame threading */if (s->active_thread_type & FF_THREAD_FRAME)ctx->num_surfaces += s->thread_count;ctx->surfaces = (LPDIRECT3DSURFACE9 *)av_mallocz(ctx->num_surfaces * sizeof(*ctx->surfaces));ctx->surface_infos = (surface_info *)av_mallocz(ctx->num_surfaces * sizeof(*ctx->surface_infos));if (!ctx->surfaces || !ctx->surface_infos) {av_log(NULL, loglevel, "Unable to allocate surface arrays\n");goto fail;}hr = ctx->decoder_service->CreateSurface(FFALIGN(s->coded_width, surface_alignment),FFALIGN(s->coded_height, surface_alignment),ctx->num_surfaces - 1,target_format, D3DPOOL_DEFAULT, 0,DXVA2_VideoDecoderRenderTarget,ctx->surfaces, NULL);if (FAILED(hr)) {printf( "Failed to create %d video surfaces\n", ctx->num_surfaces);goto fail;}hr = ctx->decoder_service->CreateVideoDecoder(device_guid,&desc, &config, ctx->surfaces,ctx->num_surfaces, &ctx->decoder);if (FAILED(hr)) {printf("Failed to create DXVA2 video decoder\n");goto fail;}ctx->decoder_guid = device_guid;ctx->decoder_config = config;dxva_ctx->cfg = &ctx->decoder_config;dxva_ctx->decoder = ctx->decoder;dxva_ctx->surface = ctx->surfaces;dxva_ctx->surface_count = ctx->num_surfaces;if (IsEqualGUID(ctx->decoder_guid, DXVADDI_Intel_ModeH264_E))dxva_ctx->workaround |= FF_DXVA2_WORKAROUND_INTEL_CLEARVIDEO;return 0;
fail:dxva2_destroy_decoder(s);return AVERROR(EINVAL);
}

7、支持本地各种语言的文件路径及文件名（utf-8）

这个其实不算什么特点，单独列出来，只是有些初学开发者不知道avformat_open_input的URL路径的字符编码，很多人以为是ansi码，在中文系统下的中文字符没问题，但是你遇到日语，韩语，越南语等其他小语种路径时，却打开失败！其实这里的字符编码应该为UTF-8，需要将unicode转为utf-8字符串，贴代码：

static int U2UTF(WCHAR* szUnicode, char* pDesBuf)
{DWORD dwNum = WideCharToMultiByte(CP_UTF8, NULL, szUnicode, -1, NULL, 0, NULL, FALSE);char* psText = new char[dwNum];if (!psText){delete[]psText;}memset(psText, 0, dwNum);WideCharToMultiByte(CP_UTF8, NULL, szUnicode, -1, psText, dwNum, NULL, FALSE);memcpy(pDesBuf, psText, dwNum);delete[]psText;return dwNum;
}

打开越南语路径的截图:

8、源码内把dxva2封装为类，可以在进程内打开多个播放器同时进行dxva2硬解码：

封装优化后，只有3个接口：

    int Init(AVCodecContext *s, HWND hwnd);
    int    RenderData(AVCodecContext *s,AVFrame *pFrame,RECT *sourceRect=0);
    void dxva2_uninit(AVCodecContext *s) ;

9、提供d3d高速渲染RGB32，I420，NV12数据，并封装为类：

对于软解码或者硬解码后获取数据到CPU内存，就需要提供D3D高速渲染显示：

#pragma once
#include "stdafx.h"
#include "d3d9.h"
#include "d3dx9.h"class CD3DVidRender
{
public:CD3DVidRender(void);~CD3DVidRender(void);void Cleanup();BOOL InitD3D_RGB32(HWND hwnd, int img_width, int img_height);BOOL InitD3D_YUV(HWND hwnd, int img_width, int img_height);BOOL InitD3D_NV12(HWND hwnd, int img_width, int img_height);BOOL Render_RGB32(unsigned char* pdata, int width, int height);BOOL Render_YUV(unsigned char * pdata, int img_width, int img_height);BOOL Render_NV12(unsigned char * pdata, int img_width, int img_height);void calculate_display_rect(RECT *rect,int img_width, int img_height, int scr_width, int scr_height) ;public:RECT m_rtViewport;D3DPRESENT_PARAMETERS d3dpp; IDirect3D9 * m_pDirect3D9;  IDirect3DDevice9 * m_pDirect3DDevice;  IDirect3DSurface9 * m_pDirect3DSurfaceRender; IDirect3DSurface9 * m_pBackBuffer;RECT m_rtFont;ID3DXFont* m_pD3DXFont;D3DXFONT_DESC m_font_desc;
};

《dxva2超低延迟视频播放器》演示demo下载URL：

【免费】dxva2硬解码超低延迟网络+本地播放器资源-CSDN文库https://download.csdn.net/download/xjb2006/88554080

可能以后会适时上传源码。不过授之以鱼不如授之以渔，知道了原理和方法，这些问题都迎刃而解！