使用ffmpeg在视频中绘制矩形区域

由于项目需要对视频中的人脸做定位跟踪，

我先使用了人脸识别算法，对视频中的每个帧识别人脸、通过人脸库比对，最终记录坐标等信息。

然后使用ffmpeg中的 drawbox 滤镜功能，选择性的绘制区域。从而实现人脸定位跟踪

1、drawbox

在FFmpeg中，drawbox 滤镜的 enable 参数用于控制矩形框绘制的条件和时机。通过这个参数，你可以指定在何时或者在哪些帧上启用 drawbox 滤镜。

enable 参数的语法

drawbox=enable='条件表达式':x=...:y=...:w=...:h=...:color=...:t=...

1.1、常用条件表达式

条件表达式通常是一个布尔表达式，当表达式的值为 true 时，drawbox 滤镜将会被应用。

注意在eq函数中的 反斜杠 \

1.1.1、基于帧编号 (n)

n 表示当前帧的编号，从 0 开始计数。

• 示例: 仅在第50帧绘制矩形框：

  enable='eq(n\,50)'

  解释: eq(n\,50) 表示当帧编号等于50时启用。

1.1.2、基于时间 (t)

t 表示视频当前的时间（单位：秒）。

• 示例: 在视频的第1秒到第2秒之间绘制矩形框：

  enable='between(t,1,2)'

1.1.3、基于帧间隔 (mod)

你可以使用 mod 函数来基于帧间隔绘制矩形框，例如每隔 10 帧绘制一次。

• 示例: 每10帧绘制一次矩形框：

  enable='mod(n\,10)'

  解释: mod(n\,10) 表示 n 除以 10 的余数为 0 时启用滤镜，即每 10 帧启用一次。

1.1.4、基于帧关键帧 (key)

key 表示关键帧的布尔值，1 表示关键帧，0 表示非关键帧。

• 示例: 仅在关键帧上绘制矩形框：

  enable='key'

  解释: 当帧是关键帧时启用滤镜。

1.2、组合条件表达式

你可以通过逻辑操作符（如 and, or, not 等）组合多个条件。

示例：在关键帧中且时间在第1秒到第2秒之间绘制矩形框

enable='key*between(t,1,2)'

示例：从第50帧到第100帧之间，且帧编号是5的倍数时绘制矩形框

enable='between(n,50,100)*eq(mod(n,5),0)'

1.3、完整脚本

ffmpeg -i input.mp4 -vf "drawbox=enable='between(n,50,150)':x=100:y=50:w=200:h=100:color=red@0.5:t=5" output.mp4

参数说明：

• x=100: 矩形框的左上角 x 坐标。
• y=50: 矩形框的左上角 y 坐标。
• w=200: 矩形框的宽度。
• h=100: 矩形框的高度。
• color=red@0.5: 矩形框的颜色和透明度（0.5 表示半透明）。
• t=5: 边框的厚度。设置为 t=fill 时表示填充整个矩形。
• -frames:v 1: 提取第1帧的结果。

上述命令表示 选择帧在50，100之间，绘制(100,50) 到（300，150）的红色区域

注：

如果需要截取某一帧的图片，并保存，使用如下命令

ffmpeg -i input.mp4 -vf "drawbox=x=100:y=50:w=200:h=100:color=red@0.5:t=5" -frames:v 1 output.png

2、批量绘制

需要针对一个视频，进行大批量自定义帧，自定义区域绘制

2.1、使用concat组合多个drawbox

如果需要处理的帧较多，可以使用FFmpeg的滤镜链来组合多个 drawbox 滤镜。这里需要定义每个 drawbox 的启用条件和对应的矩形参数。

假设你需要在第1到第5帧上绘制不同大小的矩形框：

ffmpeg -i input.mp4 -vf "
[0:v]drawbox=enable='eq(n\,1)':x=10:y=10:w=100:h=50:color=red@0.8:t=2,
drawbox=enable='eq(n\,2)':x=20:y=20:w=150:h=75:color=blue@0.8:t=2,
drawbox=enable='eq(n\,3)':x=30:y=30:w=200:h=100:color=green@0.8:t=2,
drawbox=enable='eq(n\,4)':x=40:y=40:w=250:h=125:color=yellow@0.8:t=2,
drawbox=enable='eq(n\,5)':x=50:y=50:w=300:h=150:color=purple@0.8:t=2
" output.mp4

解释：

• 在第1帧（n=1）绘制一个红色的矩形框。
• 在第2帧（n=2）绘制一个蓝色的矩形框，依此类推。

这种方法适合帧数量较少的情况，随着帧数的增加，命令行也会变得更复杂。

2.2、使用编程语言生成滤镜链

对于100多帧，手动编写每个滤镜配置可能非常繁琐。你可以使用Python等编程语言生成FFmpeg的滤镜配置脚本。

Python 代码生成滤镜链

以下是一个简单的Python脚本，它可以根据输入生成相应的FFmpeg命令：

frames = [{"n": 1, "x": 10, "y": 10, "w": 100, "h": 50, "color": "red@0.8"},{"n": 2, "x": 20, "y": 20, "w": 150, "h": 75, "color": "blue@0.8"},{"n": 3, "x": 30, "y": 30, "w": 200, "h": 100, "color": "green@0.8"},# 继续添加帧的配置...
]filters = []
for frame in frames:filters.append("drawbox=enable='eq(n\,{n})':x={x}:y={y}:w={w}:h={h}:color={color}:t=2".format(n=frame["n"], x=frame["x"], y=frame["y"], w=frame["w"], h=frame["h"], color=frame["color"]))ffmpeg_command = "ffmpeg -i input.mp4 -vf \"{}\" output.mp4".format(",".join(filters))
print(ffmpeg_command)

这个脚本将生成一个适用于FFmpeg的命令，可以根据需要调整帧号和矩形框的参数。

3、Java完整代码

在下面的代码中，进行转码时，只保留视频部分，音频部分被移除

如果需要可以使用 

-c:a copy 代替 -an

  
import lombok.Data;
import lombok.extern.slf4j.Slf4j;import java.io.BufferedReader;
import java.io.File;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.List;
import java.util.concurrent.TimeUnit;/**** ffmpeg 命令工具，要求主机必须已安装ffmpeg命令* @author xuancg* @date 2024/8/19*/
@Slf4j
public class FfmpegUtil {/**进行视频区域绘制并进行视频截取 只提取视频，忽略声音 */private static final String RECT_CUT_FORMAT = "ffmpeg -i %s -vf \"[0:v]%s\" -ss %s -to %s -an -y %s";private static final String RECT_FORMAT = "drawbox=enable='eq(n\\,%d)':x=%d:y=%d:w=%d:h=%d:color=red@0.8:t=2";/*** 先经过批量的视频帧区域绘制，然后在进行视频剪裁* @param src 输入文件* @param rectList 区域绘制* @param startTime 剪裁开始时间00:00:03* @param endTime 剪裁结束时间 00:00:23* @param dest 目标文件* @return*/public static boolean drawRectByBatchFrame(File src, List<FrameRect> rectList, String startTime, String endTime, File dest) {String source = src.getAbsolutePath();String output = dest.getAbsolutePath();if(!src.isFile()){log.error("源文件不存在source=" + source);return false;}if(dest.exists()){log.error("目标文件已存在dest=" + output);}long start = System.currentTimeMillis();Process process = null;BufferedReader reader = null;try {int size = rectList.size();StringBuilder builder = new StringBuilder();for (int i = 0; i < rectList.size(); i++) {FrameRect rect = rectList.get(i);builder.append(String.format(RECT_FORMAT,rect.getFrameIdx(), rect.getX(), rect.getY(), rect.getWidth(), rect.getHeight()));if(i < size - 1){builder.append(",");}}String cmd = String.format(RECT_CUT_FORMAT,source.replace("\\","/"), builder.toString(),startTime, endTime,  output.replace("\\","/"));log.info("ffmpeg执行命令=" + cmd);// 执行命令process = Runtime.getRuntime().exec(cmd);// 获取命令输出结果reader = new BufferedReader(new InputStreamReader(process.getErrorStream()));String line;while ((line = reader.readLine()) != null) {log.debug(line);}process.waitFor(120, TimeUnit.SECONDS);return  dest.isFile() && dest.length() > 100;} catch (IOException e) {e.printStackTrace();} catch (InterruptedException e) {log.error("剪裁视频超时source=" + source);} finally {if(null != process){process.destroy();}if(null != reader){try {reader.close();} catch (IOException e) {log.error("关闭流失败" + e.getMessage());}}log.info("耗时ms=" + (System.currentTimeMillis() - start));}return false;}@Datapublic static class FrameRect {private int frameIdx;private int x;private int y;private int width;private int height;/*** 区域外扩10像素* @param detail*/public FrameRect(VideoDetail detail){this.frameIdx = detail.getFrameIdx();this.x = detail.getLeftX() - 10;this.y = detail.getTop() - 10;this.width = detail.getRightX() - detail.getLeftX() + 20;this.height = detail.getBottom() - detail.getTop() + 20;}}}

ffmpeg部分脚本命令如下

ffmpeg -i G:/download/20240618121820-video.mp4 -vf "[0:v]drawbox=enable='eq(n\,102)':x=1141:y=158:w=90:h=90:color=red@0.8:t=2,

drawbox=enable='eq(n\,104)':x=1165:y=167:w=94:h=94:color=red@0.8:t=2,

drawbox=enable='eq(n\,105)':x=1179:y=169:w=94:h=94:color=red@0.8:t=2"

-ss 00:00:02 -to 00:00:08 -an -y G:/download/20240618121820.mp4 

视频效果如下图

 

使用eq单独帧，任务较多，

后续可以使用between 范围帧