【开发技术】.Net使用FFmpeg视频特定帧上绘制内容

目录

一、目的

二、解决方案

2.1 什么是FFmpeg

2.2 FFmpeg主要功能

2.3 使用Xabe.FFmpeg调用FFmpeg功能

2.4 使用 FFmpeg 的 drawbox 滤镜来绘制 ROI

三、总结

---

一、目的

当前市场上有很多目标检测智能识别的相关算法，当前调用一个医疗行业的AI识别算法后返回了一堆对应帧上的ROI数据，因此为了展示算法识别效果，把返回的Roi画到对应帧上进行展示，这里使用FFmpeg对视频进行处理，基于FFmpeg 的 drawbox 滤镜来绘制 ROI。

        展示：

处理前：

处理后：

二、解决方案

2.1 什么是FFmpeg

FFmpeg 本身是一个多媒体处理工具，它可以对视频流进行各种处理（如裁剪、滤镜、编码等),以及 视频流推送到 RTMP 服务器或从 RTMP 服务器拉取流。

2.2 FFmpeg主要功能

FFmpeg 主要用于以下几个方面：

• 推流：将本地视频文件或实时视频流推送到 RTMP 服务器。
• 拉流：从 RTMP 服务器拉取视频流并进行处理（如转码、转封装等）。
• 处理流：对视频流进行各种处理（如裁剪、滤镜、编码等）。

2.3 使用Xabe.FFmpeg调用FFmpeg功能

Xabe.FFmpeg 是一个基于 .NET Standard 的 FFmpeg 封装库，旨在简化媒体处理任务。它允许开发者在不了解 FFmpeg 工作原理的情况下，通过 .NET Core 应用程序调用 FFmpeg 功能，并传递自定义参数。Xabe.FFmpeg 提供了丰富的 API，支持视频和音频的转换、剪辑、合并等操作，适用于各种媒体处理需求。

本项目中使用版本为：5.2.6

dotnet add package Xabe.FFmpeg

        简单使用示例：简单展示了获取视频第一帧保存为图像存储在本地(这里也可以获取任何特定帧)。

using AI.Demo.Models;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using Xabe.FFmpeg;namespace AI.Demo.Common
{public class FFmpegutil{static FFmpegutil(){//获取存放本地ffmpg.exe路径的文件夹路径//如果是使用Nuget包安装的FFmpeg，默认路径是当前应用程序的根目录//如果是手动下载的FFmpeg，需要将ffmpeg.exe放在应用程序的根目录下var ffmpegPath = System.IO.Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "ffmpeg.exe");if(File.Exists(ffmpegPath)){//如果ffmpeg.exe存在，则设置FFmpeg的可执行文件路径FFmpeg.SetExecutablesPath(System.IO.Path.GetDirectoryName(ffmpegPath)); //设置FFmpeg的可执行文件路径}else{throw new Exception("ffmpeg.exe not found in the application directory.");}}/// <summary>  /// 获取FFmpeg命令行参数  /// </summary>  /// <param name="inputFile">输入文件路径</param>  /// <param name="outputFile">输出文件路径</param>  /// <returns>FFmpeg命令行参数</returns>  public static async Task<string> GetVideoFrame(string inputFile){//根据传入的视频文件地址，获取该视频的第一帧图片，并保存到指定的输出文件路径  if (string.IsNullOrEmpty(inputFile)){throw new ArgumentException("Input and output file paths must be provided.");}if (!File.Exists(inputFile)){throw new ArgumentException("file Not Exist");}//输出文件路径  string outputFile = System.IO.Path.ChangeExtension(inputFile, ".jpg");// 替换为使用 FFmpeg 的截图功能  await FFmpeg.Conversions.New().AddParameter($"-i \"{inputFile}\" -frames:v 1 \"{outputFile}\"").Start();return outputFile;}}
}

2.4 使用 FFmpeg 的 drawbox 滤镜来绘制 ROI

基于drawbox的enable参数来控制在特定帧上绘制，drawbox格式： “drawbox=enable='eq(n,frameIndex)':x:y:w:h:color:thickness”

 /// <summary>/// 使用 FFmpeg 的 drawbox 滤镜来绘制 ROI/// </summary>/// <param name="inputFile"></param>/// <param name="outputFile"></param>/// <param name="locations"></param>/// <returns></returns>/// <exception cref="ArgumentException"></exception>public static async Task<bool> DrawRoiByLocation(string inputFile,ref string analyseVdeofile, List<Location> locations){if (string.IsNullOrEmpty(inputFile)){throw new ArgumentException("Input file paths must be provided.");}if (!File.Exists(inputFile)){throw new ArgumentException("file Not Exist");}//改变输入文件的名字，增加后缀以区分输出文件string outputFile = System.IO.Path.ChangeExtension(inputFile, "_analyse.mp4");analyseVdeofile = outputFile;try{// 构建FFmpeg滤镜命令StringBuilder filterBuilder = new StringBuilder();// 对每个Location（帧）和ROI处理foreach (var location in locations){int frameIndex = location.Index;// 对该帧中的每个ROI进行处理foreach (var roi in location.Rois){// 使用drawbox的enable参数来控制在特定帧上绘制// 格式：drawbox=enable='eq(n,frameIndex)':x:y:w:h:color:thicknessstring boxFilter = $"drawbox=enable='eq(n,{frameIndex})':x={roi.X}:y={roi.Y}:w={roi.W}:h={roi.H}:color=red:thickness=2";if (filterBuilder.Length > 0)filterBuilder.Append(",");filterBuilder.Append(boxFilter);}}// 创建转换命令，直接使用输入文件路径而不是GetMediaInfovar conversion = FFmpeg.Conversions.New().AddParameter($"-i \"{inputFile}\"").SetOutput(outputFile);// 如果有滤镜，添加到命令中if (filterBuilder.Length > 0){conversion.AddParameter($"-vf \"{filterBuilder}\"").AddParameter("-c:v libx264") // 使用H.264编码器.AddParameter("-preset medium") // 编码速度和质量的平衡.AddParameter("-crf 23") // 控制质量，值越低质量越高.AddParameter("-pix_fmt yuv420p") // 设置像素格式，提高兼容性.AddParameter("-c:a aac") // 使用AAC音频编码器.AddParameter("-movflags +faststart"); // 优化网络播放}else{// 即使没有滤镜，也确保使用正确的编解码器conversion.AddParameter("-c:v libx264").AddParameter("-preset medium").AddParameter("-crf 23").AddParameter("-pix_fmt yuv420p").AddParameter("-c:a aac").AddParameter("-movflags +faststart");}// 执行命令并等待完成await conversion.Start();return File.Exists(outputFile);}catch (Exception ex){Console.WriteLine($"Error drawing ROI: {ex.Message}");return false;}}

三、总结

FFmpeg是一个强大的 多媒体处理工具，以上的处理只是它整体功能中的一小部分。结合 Xabe.FFmpeg可以进行视频的格式转换、裁剪、增加滤镜多种功能。同时支持在桌面应用、Web应用、Api服务、云服务多种场景下的处理需求。

        

        把之所学以文载之，欢迎大家多多交流~