V4L2应用程序开发（二）：控制流程与UVC内部结构详解

V4L2应用程序开发二控制流程与UVC内部结构详解本文是 V4L2 摄像头应用开发系列的第二篇。上一章我们学习了如何从摄像头获取数据采集流程这一章我们将学习如何控制摄像头调节亮度、对比度、切换格式、甚至控制云台转动。你不需要是一个内核专家我会用通俗的语言带你理解 UVC 摄像头的内部“零件”Terminal/Unit以及应用程序如何通过ioctl与它们对话。学完本章你将能写出一个可以动态调节亮度的摄像头程序。难度提醒本章后半部分UVC 拓扑、XU 扩展单元较抽象如果你第一次接触可能有些懵。我会明确标注必须掌握和了解即可的内容你可以先聚焦核心部分等有经验后再回头看进阶内容。 本章学习目标与重要程度知识点掌握程度原因枚举摄像头支持的格式VIDIOC_ENUM_FMT⭐⭐⭐ 必须掌握实际开发中需要知道摄像头能输出什么格式获取/设置当前格式VIDIOC_G_FMT/S_FMT⭐⭐⭐ 必须掌握核心操作上一章已经用过调节亮度/对比度VIDIOC_QUERYCTRL/G_CTRL/S_CTRL⭐⭐⭐ 必须掌握嵌入式产品中常需要软件调节图像效果选择输入源VIDIOC_G_INPUT/S_INPUT⭐⭐ 重点掌握少数摄像头有多个输入如前后摄像头理解 UVC 内部的 Terminal/Unit 概念⭐⭐ 重点掌握能看懂文档遇到特殊控制如对焦、云台知道去哪里找PU处理单元负责哪些控制⭐⭐ 重点掌握亮度、对比度、饱和度等常用调节属于 PUCT摄像头终端负责哪些控制⭐ 了解即可曝光、对焦、变焦等高级功能EU编码单元和 XU扩展单元⭐ 了解即可绝大多数项目用不到仅特殊设备如罗技云台摄像头需要mjpg-streamer 中添加 XU 和 mapping 的代码⭐ 了解即可属于驱动层面的玄学普通应用开发不需要自己写核心建议先掌握格式枚举和亮度调节这部分代码你以后会经常写。UVC 内部结构可以大致理解面试能答出“PU 负责亮度/对比度CT 负责曝光/对焦”即可。XU 部分看一遍有个印象真遇到罗技摄像头再去查 mjpg-streamer 源码。文章目录V4L2应用程序开发二控制流程与UVC内部结构详解 本章学习目标与重要程度一、为什么需要“控制流程”二、数据格式的控制必须掌握2.1 枚举摄像头支持的格式VIDIOC_ENUM_FMT2.2 获取当前格式VIDIOC_G_FMT2.3 设置格式VIDIOC_S_FMT三、选择输入源了解即可四、调节亮度、对比度等参数必须掌握4.1 查询某个参数是否支持及其范围VIDIOC_QUERYCTRL4.2 获取当前值VIDIOC_G_CTRL4.3 设置新值VIDIOC_S_CTRL五、理解 UVC 内部结构Terminal 和 Unit重点掌握5.1 整体拓扑5.2 PUProcessing Unit—— 你最常用的调节5.3 CTCamera Terminal—— 高级控制5.4 XUExtension Unit—— 厂商扩展了解即可六、动手实践编写一个可以调节亮度的程序七、面试官提问环节第1问V4L2 中如何枚举摄像头支持的像素格式需要用到哪些结构体和 ioctl第2问调节亮度的完整流程是什么需要哪几个 ioctl第3问UVC 摄像头中亮度、对比度是由哪个 Unit 负责的曝光、对焦呢第4问什么是 XU什么时候需要用到它第5问VIDIOC_S_FMT 设置分辨率后为什么需要重新读取 fmt.fmt.pix.width/height八、总结一、为什么需要“控制流程”上一章我们只做了三件事打开摄像头、设置格式、循环取图。但实际产品中用户往往希望在光线暗的地方调高亮度想要更鲜艳的饱和度切换摄像头支持的不同分辨率如 640x480 → 1280x720甚至控制云台转动例如监控摄像头这些操作都属于“控制流程”。V4L2 提供了一套统一的接口让我们可以查询、获取、设置各种参数。核心思想每个可调节的参数都有一个ID如V4L2_CID_BRIGHTNESS应用程序通过ioctl传入这个 ID 和期望的值驱动程序就知道要改哪个参数。二、数据格式的控制必须掌握2.1 枚举摄像头支持的格式VIDIOC_ENUM_FMT在上一章的V4l2InitDevice中我们已经见过枚举格式的代码。这里再详细展开。数据结构struct v4l2_fmtdesccstruct v4l2_fmtdesc { __u32 index; // 第几个格式从0开始 __u32 type; // 必须是 V4L2_BUF_TYPE_VIDEO_CAPTURE __u32 flags; // 一般忽略 __u8 description[32]; // 格式描述文字如 YUYV 4:2:2 __u32 pixelformat; // 四字符码如 V4L2_PIX_FMT_YUYV __u32 reserved[4]; };使用示例列出所有格式cstruct v4l2_fmtdesc fmtdesc; fmtdesc.type V4L2_BUF_TYPE_VIDEO_CAPTURE; fmtdesc.index 0; while (ioctl(fd, VIDIOC_ENUM_FMT, fmtdesc) 0) { printf(Format %d: %s, fourcc0x%08x\n, fmtdesc.index, fmtdesc.description, fmtdesc.pixelformat); fmtdesc.index; }实际输出以某个 UVC 摄像头为例textFormat 0: YUYV 4:2:2, fourcc0x56595559 Format 1: MJPEG, fourcc0x47504a4d必须掌握你会经常需要枚举格式然后从中选择一个如优先选 YUYV不行再选 MJPEG。2.2 获取当前格式VIDIOC_G_FMTcstruct v4l2_format fmt; memset(fmt, 0, sizeof(fmt)); fmt.type V4L2_BUF_TYPE_VIDEO_CAPTURE; if (ioctl(fd, VIDIOC_G_FMT, fmt) 0) { printf(Current format: %dx%d, fourcc0x%08x\n, fmt.fmt.pix.width, fmt.fmt.pix.height, fmt.fmt.pix.pixelformat); }2.3 设置格式VIDIOC_S_FMT我们已经用过但再强调一下驱动程序可能会调整你传入的值例如不支持的分辨率会被修改为最接近的支持值所以设置后要重新读取fmt中的宽高。三、选择输入源了解即可少数摄像头有多个输入比如有的摄像头既有内置麦克风又有外置音频输入或者有前后两个镜头。V4L2 用VIDIOC_G_INPUT/VIDIOC_S_INPUT来查询/设置当前使用哪个输入源。cint index 0; // 0 表示第一个输入源 ioctl(fd, VIDIOC_S_INPUT, index);实际项目中很少用到了解即可。四、调节亮度、对比度等参数必须掌握4.1 查询某个参数是否支持及其范围VIDIOC_QUERYCTRL在设置之前最好先查询该参数是否支持以及它的取值范围最小、最大、步长、默认值。数据结构struct v4l2_queryctrlcstruct v4l2_queryctrl { __u32 id; // 要查询的控制 ID如 V4L2_CID_BRIGHTNESS __u32 type; // 返回类型整数、布尔、菜单等 __u8 name[32]; // 控制名称如 Brightness __s32 minimum; // 最小值 __s32 maximum; // 最大值 __s32 step; // 步长 __s32 default_value;// 默认值 __u32 flags; __u32 reserved[2]; };使用示例cstruct v4l2_queryctrl qctrl; memset(qctrl, 0, sizeof(qctrl)); qctrl.id V4L2_CID_BRIGHTNESS; if (ioctl(fd, VIDIOC_QUERYCTRL, qctrl) 0) { printf(Brightness range: %d ~ %d, step%d, default%d\n, qctrl.minimum, qctrl.maximum, qctrl.step, qctrl.default_value); } else { printf(Does not support brightness control\n); }4.2 获取当前值VIDIOC_G_CTRLcstruct v4l2_control ctrl; ctrl.id V4L2_CID_BRIGHTNESS; if (ioctl(fd, VIDIOC_G_CTRL, ctrl) 0) { printf(Current brightness %d\n, ctrl.value); }4.3 设置新值VIDIOC_S_CTRLcctrl.id V4L2_CID_BRIGHTNESS; ctrl.value 80; // 假设范围是 0~100 ioctl(fd, VIDIOC_S_CTRL, ctrl);常用控制 ID定义在linux/videodev2.hID含义类型V4L2_CID_BRIGHTNESS亮度整数V4L2_CID_CONTRAST对比度整数V4L2_CID_SATURATION饱和度整数V4L2_CID_HUE色调整数V4L2_CID_GAIN增益整数V4L2_CID_AUTO_WHITE_BALANCE自动白平衡布尔0/1V4L2_CID_EXPOSURE_AUTO自动曝光菜单1手动,3自动V4L2_CID_FOCUS_ABSOLUTE绝对对焦整数五、理解 UVC 内部结构Terminal 和 Unit重点掌握如果你之前没接触过 UVCUSB Video Class这部分可能会感到抽象。但只要你理解了“摄像头内部是由一个个功能块串联起来的”就能明白为什么调节亮度要设置某个 ID。5.1 整体拓扑一个 UVC 摄像头内部至少有一个VideoControl 接口负责控制和 0 个或多个VideoStreaming 接口负责传输视频。控制接口内部由多个Terminal终端和Unit单元组成数据从上游流向下游。示意图简化text[Sensor] → [Camera Terminal] → [Processing Unit] → [Output Terminal] → USB 主机 ↓ ↓ (曝光控制) (亮度/对比度)Terminal终端位于拓扑的边界连接外界例如传感器、USB 主机。ITInput Terminal输入终端OTOutput Terminal输出终端CTCamera Terminal摄像头终端直接连接传感器控制曝光、对焦、变焦等。Unit单元内部处理单元。SUSelector Unit选择单元从多路输入中选择一路。PUProcessing Unit处理单元负责亮度、对比度、饱和度、锐度、伽马等。EUEncoding Unit编码单元负责 JPEG 压缩等。XUExtension Unit扩展单元厂商自定义功能如罗技摄像头的云台控制。5.2 PUProcessing Unit—— 你最常用的调节绝大多数摄像头的亮度、对比度、饱和度都是通过 PU 实现的。应用程序传入的V4L2_CID_BRIGHTNESS等 ID最终会被驱动映射到 PU 的对应Control Selector如PU_BRIGHTNESS_CONTROL。必须记住亮度、对比度、饱和度属于PU。5.3 CTCamera Terminal—— 高级控制CT 提供曝光、对焦、变焦、白平衡等传感器层面的控制。对应的 V4L2 ID 如V4L2_CID_EXPOSURE_ABSOLUTEV4L2_CID_FOCUS_ABSOLUTEV4L2_CID_ZOOM_ABSOLUTE如果你的摄像头支持自动对焦设置V4L2_CID_FOCUS_AUTO1即可。5.4 XUExtension Unit—— 厂商扩展了解即可一些高端摄像头如罗技提供云台Pan/Tilt控制这不是标准 V4L2 控制项而是通过 XU 实现的。应用程序需要知道厂商自定义的 GUID 和 Control Selector然后使用专门的 ioctlUVCIOC_CTRL_ADD和UVCIOC_CTRL_MAP来注册这些控制。实际案例mjpg-streamer 项目中支持罗技摄像头云台控制的代码首先定义uvc_xu_control_info数组描述 XU 的 entityGUID、selector、数据大小等。然后定义uvc_xu_control_mapping数组将 XU 的某个 selector 的某几位offset, size映射到一个标准 V4L2 ID如V4L2_CID_PAN_RELATIVE。最后调用ioctl(fd, UVCIOC_CTRL_ADD, ...)和ioctl(fd, UVCIOC_CTRL_MAP, ...)。重要提示新版的 UVC 驱动Linux 内核 4.x已经能够自动解析摄像头的 XU 信息应用程序不需要再手动ADD和MAP只需像普通控制一样使用VIDIOC_S_CTRL并传入自定义的 ID 即可前提是驱动已经注册了这些控制。所以 mjpg-streamer 中的那段代码主要是为了兼容老内核。作为应用开发者除非你遇到特定型号的摄像头无法调节云台否则不必深究。六、动手实践编写一个可以调节亮度的程序结合上一章的采集循环我们加入亮度调节功能。思路在循环外通过命令行参数如--brightness 80来设置亮度。伪代码cint main(int argc, char **argv) { int fd open(/dev/video0, O_RDWR); // ... 设置格式、申请 buffer、启动流等参考上一章 // 如果命令行指定了亮度值 if (brightness_value 0) { struct v4l2_queryctrl qctrl; qctrl.id V4L2_CID_BRIGHTNESS; if (ioctl(fd, VIDIOC_QUERYCTRL, qctrl) 0) { struct v4l2_control ctrl; ctrl.id V4L2_CID_BRIGHTNESS; ctrl.value brightness_value; ioctl(fd, VIDIOC_S_CTRL, ctrl); printf(Set brightness to %d\n, brightness_value); } else { printf(Camera does not support brightness control.\n); } } // 进入采集循环... }七、面试官提问环节第1问V4L2 中如何枚举摄像头支持的像素格式需要用到哪些结构体和 ioctl参考答案使用struct v4l2_fmtdesc结构体设置type V4L2_BUF_TYPE_VIDEO_CAPTUREindex从 0 开始递增。循环调用ioctl(fd, VIDIOC_ENUM_FMT, fmtdesc)直到返回 -1。每次成功时可以从fmtdesc.pixelformat和fmtdesc.description获得格式信息。第2问调节亮度的完整流程是什么需要哪几个 ioctl参考答案可选用VIDIOC_QUERYCTRL查询亮度控制是否支持以及取值范围。用VIDIOC_G_CTRL获取当前亮度值可选。用VIDIOC_S_CTRL设置新的亮度值。第3问UVC 摄像头中亮度、对比度是由哪个 Unit 负责的曝光、对焦呢参考答案亮度和对比度由Processing Unit (PU)负责。曝光、对焦、变焦由Camera Terminal (CT)负责。第4问什么是 XU什么时候需要用到它参考答案XU 是 Extension Unit厂商可以在其中实现自定义功能如罗技摄像头的云台控制、LED 灯控制等。当摄像头的特殊功能如摇动、俯仰不是标准 V4L2 控制项时可能需要通过 XU 访问。新版内核驱动通常会自动解析应用程序可以直接使用自定义的 ID。第5问VIDIOC_S_FMT设置分辨率后为什么需要重新读取fmt.fmt.pix.width/height参考答案因为摄像头硬件可能不支持你要求的分辨率驱动程序会自动调整为最接近的、硬件支持的分辨率并将实际使用的尺寸写回v4l2_format结构体。应用必须使用调整后的尺寸来分配 buffer 和处理图像。八、总结本章我们学习了数据格式控制枚举、获取、设置格式必须掌握。输入源选择基本了解。亮度/对比度等参数控制查询、获取、设置必须掌握。UVC 内部结构了解 VideoControl/VideoStreaming 接口以及 Terminal/Unit 的概念知道 PU 负责亮度、CT 负责曝光。XU 扩展进阶内容仅当遇到特殊设备时再深入学习。你现在已经掌握了 V4L2 开发中最常用的接口。接下来可以尝试写一个程序通过键盘按键如/-实时调节亮度。枚举所有支持的控制项VIDIOC_QUERYCTRL配合V4L2_CID_BASE和V4L2_CID_LASTP1的范围。下一章我们将介绍如何列出帧细节帧率、分辨率等以及编写完整的 V4L2 应用程序。请继续关注。 加油你离成为嵌入式相机高手又近了一步。