V4L2采集链路解析:从摄像头到用户态图像

V4L2 (Video for Linux Two)是 Linux 内核中负责视频采集、输出以及广播设备的子系统。它是对早期 V4L 的全面改进旨在支持更广泛的硬件、提供更灵活的 API并解决旧版本在多流处理和可扩展性上的不足。在 Linux 系统中一切皆文件。V4L2 设备通常映射为/dev/videoX如/dev/video0的设备节点应用程序通过标准的系统调用如open,ioctl,mmap来控制硬件。为什么需要V4L2框架如果没有V4L2则要每个摄像头都要写一个驱动还要随之修改应用层代码V4L2的存在使得摄像头厂商只需要对接V4L2框架即可。1.V4L2基础命令行操作当我们插上摄像头后可以在/dev下查找接入的摄像头节点ls /dev | grep video我们可以发现。我们接入一个摄像头后在/dev下产生的不止一个节点有vidoe0与video1一般情况下是两个节点也有可能多个其中一个用于视频捕获另一个用于元数据或其他特定流类型而我们需要的用于视频捕获的video节点所以下面我们要判断哪个我真正用于视频捕获的video节点除了上述命令我们可以使用v4l2-ctl --list-devices展示所有接入的摄像头节点v4l2-ctl --list-devices接下来为了找到真正需要的节点我们使用命令v4l2-ctl -d /dev/video0 -D主要看Devices Caps这一栏的第一行我们可以看到对于video0节点写的是Video Capture也就是视频捕获节点这样我们就找到了我们需要的节点实际上是video0对于另一个节点可以自行测试验证。我们还需要查询摄像头支持哪些分辨率帧率和格式v4l2-ctl -d /dev/video0 --list-formats-ext我们介绍一下音视频领域的图像格式这些格式直接描述了每一个像素点的颜色没有经过压缩可以直接被硬件处理或显示。像素格式原始图像格式类型物理本质场景RGBRed-Green-Blue每个像素由红、绿、 蓝三通道组成。YOLOv5 模型通常要求 输入 RGB 格式。BGRBlue-Green-Red通道顺序与 RGB 相反。OpenCV 默认的存储顺序。采集后的图像通常先变成 BGR 。YUYVYUV 4:2:2Y代表亮度UV代表 色度。每两个像素共享一组 UV。采集原始格式USB 摄像头常见的原生输出格式画质高但带宽大。NV12YUV 4:2:0 SP亮度 Y 连续存储色度 UV 交替存储。硬件编码输入RK3588 的 MPP 硬件编码器强制要求 NV12 格式。这些格式通过数学算法减小了体积方便传输和存储。CPU 或 GPU 必须先“解压”它们才能看到 像素。这些格式通过数学算法减小了体积方便传输和存储。CPU 或 GPU 必须先“解压”它们才能看到像素。常见视频压缩编码格式对比表编码格式全称压缩原理压缩效率MJPEGMotion JPEG帧内压缩(每一帧都是独立的JPEG图片无帧间预测)极低文件最大H.264Advanced Video Coding (AVC)帧间帧内压缩(预测帧与帧之间变化)高H.265High Efficiency Video Coding (HEVC)帧间帧内压缩 (更高级的算法)非常高所以查看摄像头支持的格式可以看到支持MJPG和YUYV格式虽然得到的YUYV数据不经过压缩很大但取数据时不需要经过解码节约CPU资源。而YUYV格式下只能在720p的情况下跑到10fps按需选择即可。2.V4L2编程方式V4L2 的核心架构V4L2 的架构可以从用户空间和内核空间两个维度来看我们一般只需要关注用户空间即可。1. 用户空间 (User Space)应用程序如 OpenCV, FFmpeg, 或 GStreamer通过标准 API 与内核通信。最核心的操作是通过ioctl命令发送控制指令例如VIDIOC_QUERYCAP: 查询设备能力。VIDIOC_S_FMT: 设置视频格式分辨率、像素格式。VIDIOC_REQBUFS: 申请缓冲区。VIDIOC_QBUF / VIDIOC_DQBUF: 缓冲区的入队与出队。2. 内核空间 (Kernel Space)在内核中V4L2 框架被分为几层以简化驱动开发V4L2 Device (v4l2_device): 设备的顶层抽象管理所有的子设备。V4L2 Sub-device (v4l2_subdev): 代表硬件中的独立模块如 Sensor传感器、ISP图像信号处理器、Flash 等。Video Device (video_device): 负责创建/dev/videoX节点并处理文件操作。Videobuf2 (vb2): 专门处理视频数据流的缓冲区管理框架是目前 V4L2 的高性能核心。v4l2工作流程1.打开设备open“/dev/video0”……int ret v4l2.fd open(cramera_path, O_RDWR); if (ret -1) { perror(open video); return -1; }2.设置格式指定像素格式YUYV,MJPG等和分辨率struct v4l2_format fmt; memset(fmt, 0, sizeof(fmt)); fmt.type V4L2_BUF_TYPE_VIDEO_CAPTURE; fmt.fmt.pix.width 1280; fmt.fmt.pix.height 720; fmt.fmt.pix.pixelformat V4L2_PIX_FMT_MJPEG; fmt.fmt.pix.field V4L2_FIELD_NONE; ret ioctl(v4l2.fd, VIDIOC_S_FMT, fmt); if (ret -1) { printf(set format failed\n); perror(VIDIOC_S_FMT 详细错误原因); close(v4l2.fd); return -1; }3.缓冲区管理请求缓冲区Request Buffers。通过mmap将内核空间缓冲区映射到用户空间。将空缓冲区放入输入队列Query Queue。struct v4l2_requestbuffers mmap_buf; memset(mmap_buf, 0, sizeof(mmap_buf)); mmap_buf.type V4L2_BUF_TYPE_VIDEO_CAPTURE; mmap_buf.count 4; mmap_buf.memory V4L2_MEMORY_MMAP; ret ioctl(v4l2.fd, VIDIOC_REQBUFS, mmap_buf); if (ret -1) { printf(request kernel buf failed\n); close(v4l2.fd); return -1; } struct v4l2_buffer buf; memset(buf, 0, sizeof(buf)); buf.type V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory V4L2_MEMORY_MMAP; for (int i 0; i 4; i) { memset(buf, 0, sizeof(buf)); buf.type V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory V4L2_MEMORY_MMAP; buf.index i; ret ioctl(v4l2.fd, VIDIOC_QUERYBUF, buf); if (ret -1) { printf(querybuf failed\n); close(v4l2.fd); return -1; } v4l2.mptr[i] (unsigned char*)mmap(NULL, buf.length, PROT_READ | PROT_WRITE, MAP_SHARED, v4l2.fd, buf.m.offset); v4l2.size[i] buf.length; ret ioctl(v4l2.fd, VIDIOC_QBUF, buf); if (ret -1) { printf(qbuf failed\n); close(v4l2.fd); return -1; } }4.启动采集VIDIOC_STREAMONint type V4L2_BUF_TYPE_VIDEO_CAPTURE; int ret ioctl(v4l2.fd, VIDIOC_STREAMON, type); if (ret -1) { printf(开启采集流失败\n); queue_read.close(); return; }5.循环处理DQBUF: 从队列中取出填满数据的缓冲区。处理数据: 图像处理、保存或显示。QBUF: 将处理完的空缓冲区放回队列。6.停止采集与关闭VIDIOC_STREAMOFF3.部分概念解释v4l2_requestbuffers 和 v4l2_buffer分别是什么以及映射到用户空间的是什么v4l2_requestbuffers是结构体是内核缓冲区申请书是与驱动程序的第一次谈判它的作用是告诉内核我打算开辟多大的空间。核心字段Count我要申请几个缓冲区Type数据流类型一般都是V4L2_BUF_TYPE_VIDEO_CAPTUREMemory内存类型一般是V4L2_MEMORY_MMAP意思是告诉内核由它来分配内存v4l2_buffer也是结构体它是内核缓冲区的查询单当我申请完总量时如4个需要逐一操作每一个缓冲区这时需要用到v4l2_buffer;核心字段Index编号m.offset:最关键该缓冲区在内核中的内存偏移量是mmap的导航坐标length该缓冲区的总长度bytesused出队时DQBUF告诉你这块缓冲区装了多少字节图像mmap映射 内核开辟了一块物理地盘普通用户不可见。 mmap 在用户空间的进程里划出一块虚拟地盘。 系统建立映射关系让这两块地盘指向同一个物理地址。QBUFQueue Buffer和DQBUFDequeue Buffer在 V4L2 的流模式下内核驱动和用户程序通过一个缓冲区队列进行交互。这个过程可以类比为一个旋转的传送带QBUF (入队)用户将一个“空闲”的缓冲区交给驱动告诉驱动“你可以把捕获到的图像数据填到这里。”调用ioctl(fd, VIDIOC_QBUF, buf)此时该缓冲区的所有权由用户空间转移到内核空间。应用程序在缓冲区出队前严禁修改其中的数据。DQBUF (出队)驱动填满数据后用户从队列中取回这个缓冲区告诉驱动“这一帧我要拿去处理显示/编码/保存了。”调用ioctl(fd, VIDIOC_DQBUF, buf)成功返回后缓冲区的所有权回到用户空间。此时程序可以安全地读取或写入内存中的数据。