基于Dlib的疲劳检测系统

需要源码的朋友可以私信我

1、设计背景及要求

随着经济的飞速发展，货运行业的发展趋势愈加迅猛，货车驾驶员24h都留在车上的现象已成为行业常态。据国家统计局数据显示，近几年的特大事故中，有超40%的事故是由于驾驶员疲劳驾驶造成的。为了减少疲劳驾驶导致的交通安全问题，本系统旨在设计一款可以自动实时检测驾驶员是否疲劳驾驶并发出警报的系统。
设计要求
(1) 设计并实现一个软件界面，能够实时获取人脸视频；
(2) 使用OpenCV或Dlib库实现人脸检测和特征点标定；
(3) 定义并提取与疲劳驾驶相关的人脸特征；
(4) 合理设计算法，实现驾驶员疲劳状态检测，检测到疲劳时发出预警；
(5) 测试系统性能，并分析

2、系统分析

通过摄像头实时采集驾驶员的行为表情状态，判断驾驶员的头部姿态，眼睛闭合频率和单位时间打哈欠的次数来判断驾驶员的疲劳程度。

3、系统设计

3.1功能结构图

功能结构图设计：

本系统通过收集人脸朝向、人脸位置、瞳孔朝向、眼睛开合度、眨眼频率等数据，提取驾驶员面部68个特征点及其坐标，准确定位驾驶员人脸的位置，并利用眼部的12个特征点计算眼部长宽比EAR，根据嘴部的6个特征点计算嘴巴的MAR，利用其他坐标结合HPE算法计算头部转动的欧拉角。将这些数据分别与对应的阈值比较，从而统计出驾驶员眨眼、打哈欠和点头的次数。通过对驾驶员眨眼、打哈欠、点头次数的统计，可实时判断驾驶员的注意力集中程度，分析驾驶员是否疲劳驾驶，并及时作出安全提示。

3.2基于EAR、MAR和HPE算法的疲劳检测

3.2.1基于EAR算法的眨眼检测

当人眼睁开时，EAR在某个值域范围内波动，当人眼闭合时，EAR迅速下降，理论上接近于0。当EAR低于某个阈值时，眼睛处于闭合状态；当EAR由某个值迅速下降至小于该阈值，再迅速上升至大于该阈值，则判断为一次眨眼。为检测眨眼次数，需要设置同一次眨眼的连续帧数。眨眼速度较快，一般1~3帧即可完成眨眼动作。

3.2.2基于MAR算法的哈欠检测

基于MAR算法的哈欠检测，利用Dlib提取嘴部的6个特征点，通过这6个特征点的坐标（51、59、53、57的纵坐标和49、55的横坐标）来计算打哈欠时嘴巴的张开程度。当一个人说话时，点51、59、53、57的纵坐标差值增大，从而使MAR值迅速增大，反之，当一个人闭上嘴巴时，MAR值迅速减小。

3.3.3基于HPE算法的点头检测

HPE（Head Pose Estimation, HPE）算法步骤 ：2D人脸关键点检测，3D人脸模型匹配，求解 3D点和对应2D点的转换关系，根据旋转矩阵求解欧拉角。检测过程中需要使用世界坐标系（UVW）、相机坐标系（XYZ）、图像中心坐标系（uv）和像素坐标系（xy）。
世界坐标系转换到相机坐标系：

相机坐标系转换到像素坐标系：

像素坐标系与世界坐标系的关系为：

图像中心坐标系转换到像素坐标系：

4、系统实现与调试

4.1初步实现

系统的关键就是对驾驶员的面部进行识别，然后计算并统计出疲劳值，通过显示屏把数据显示在屏幕上给驾驶员看，如果驾驶员被判定为疲劳驾驶或者危险驾驶系统就会立即进行语音提醒。想要成功获得人脸面部的68个特征点，就必须先检测到人脸的存在。调用Dlib中的正向人脸检测器API，如果没有检测到人脸就会在屏幕上显示“No Face”，控制台输出“没有检测到人脸”，这里用手遮住脸、脸转向左右两边的幅度太大、人脸不在摄像头的摄像范围里，人脸距离摄像头太远都算没有检测到人脸。

从视频流进行循环，读取图片，并对图片做维度扩大，并进灰度化，使用dlib获得脸部位置以及脸部特征位置，将脸部特征信息转换为数组array的格式，从而提取左眼和右眼坐标。构造函数计算左右眼的EAR值，使用平均值作为最终的EAR。类似的，获得嘴部MAR值。分别计算左眼、右眼和嘴部的评分求平均作为最终的评分，如果小于阈值，则加1，如果连续3次都小于阈值，则表示进行了一次眨眼活动；如果嘴部评分大于阈值，则表示一次打哈欠。

4.2具体实现过程

基于上述程序基础，添加可视化界面，增加系统交互性。利用wx进行界面搭建，设置视频源，可选择摄像头或视频文件导入，提供实时检测和文件检测功能；添加疲劳检测参数设置，可自行勾选检测参数以及疲劳时间调整，检测条件更加灵活；状态输出栏可查看历史状态，追溯用户历史数据，为事故调查提供条件。如图7为 UI界面。
后添加点头检测增加系统精度，本系统根据计算欧拉角判断驾驶员的点头次数，这里涉及欧拉角的三个角，分别是 Pitch（绕X轴旋转）,Yaw（绕Y轴旋转）,Roll（绕Z轴旋转），一个物体对于相机的姿态可以用旋转矩阵（R）和平移矩阵（T）来表示。人脸2D与3D之间的仿射变换矩阵包含了头部旋转和平移信息，可以直接调用OpenCV的solvePnp()函数求解得出旋转和平移向量，最终利用得到的旋转矩阵来求解欧拉角。当在某一个时间段10s内，驾驶员的|Pitch|≥20或者|Roll|≥20的时间占比超过0.3时，则判定驾驶员处于疲劳状态。

5、系统实现与调试

本系统采用人脸追踪和图像处理相结合的方式采集面部图像处理疲劳信息，利用面部疲劳特征判断疲劳状态，以采集到的人脸图像信息作为输入，通过检测算法输出判断结果，判断为疲劳状态后，系统发出警告。

本系统通过Dlib库中的人脸识别和dat模型中的68个关键点，结合EAR、MAR和HPE算法，判断驾驶员是否眨眼、打哈欠、点头，不仅实现了检测指标多样化，还实现了实时检测驾驶员疲劳状态的目的，可用于货车、汽车、出租车等机动车辆，为驾驶员的生命安全增加一份保障。本系统的不足之处在于当驾驶员面部有部分遮挡时就无法准确判断驾驶员是否处于疲劳驾驶状态，只会发出提示，提醒驾驶员“您已脱离摄像范围”。因此，下一步的工作重点是如何解决在有遮挡情况下也能正确识别驾驶员精神状态的问题。