专利摘要

本发明涉及一种疲劳驾驶监控系统，包括红外摄像头、触觉反馈装置、距离监测装置及处理器，所述红外摄像头、触觉反馈装置及距离监测装置分别与处理器连接；所述红外摄像头设置于方向盘的上部中央，触觉反馈装置包括振动电机以及压力传感器，分别安装于方向盘的左右两侧；距离监测装置包括三个红外距离传感器，分别位于车辆左侧A柱、右侧A柱及驾驶员座椅头枕，所述处理器包括图像处理模块、图像分析模块以及疲劳判定模块；连续处理多帧图像后，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值，则认为第一疲劳条件成立；所述处理器即控制所述振动电机工作；能多角度判断疲劳等级、安全可靠，能针对不同疲劳程度，能给予适当的提醒，适用于防止在高速公路上进行疲劳驾驶。

权利要求

1.一种疲劳驾驶监控系统，其特征在于，包括红外摄像头(1)、触觉反馈装置、距离监测装置及处理器，所述红外摄像头(1)、触觉反馈装置及距离监测装置分别与处理器连接；

所述红外摄像头(1)设置于方向盘(4)的上部中央，触觉反馈装置包括振动电机(2)以及压力传感器(3)，分别安装于方向盘(4)的左右两侧；

距离监测装置包括三个红外距离传感器，分别位于车辆左侧A柱、右侧A柱及驾驶员座椅头枕，用于检测头部在车辆内的位置变化，即头部与左侧A柱之间的距离L1、头部与右侧A柱之间的距离L2及头部与头枕之间的距离L3；

所述处理器包括图像处理模块、图像分析模块以及疲劳判定模块；当车速高于预定值时，所述监控系统启动，所述红外摄像头(1)将实时采集的图像传递至所述处理器中的图像处理模块，所述图像处理模块对图像进行预处理，通过人脸检测算法，检测人脸位置；基于Sobel算子，找出眼睛边缘特征点位置，根据其像素点位置计算上眼皮和下眼皮的最大高度差或眼睛区域面积；图像分析模块将预先存储的驾驶员脸部信息与所述图像处理模块处理后的结果进行对比；

连续处理多帧图像后，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值，则认为第一疲劳条件成立；所述处理器还采集所述触觉反馈装置中的压力传感器(3)的信号，若驾驶员手握方向盘(4)的压力在一定时间内的压力变化值低于阈值，则认为第二疲劳条件成立；所述处理器还采集所述红外距离传感器的数据，若头部与左侧A柱之间的距离变化值ΔL1、头部与右侧A柱之间的距离变化值ΔL2及头部与头枕之间的距离变化值ΔL3中的两个低于阈值，则认为第三疲劳条件成立；

当第一疲劳条件成立，不论第二疲劳条件、第三疲劳条件是否成立，则疲劳判定模块认为处于疲劳状态，所述处理器即控制所述振动电机(2)工作；

所述处理器还包括声音报警装置，且所述振动电机(2)的振动幅度由弱到强依次分为一级、二级及三级，当所述振动电机(2)振动幅度为三级时，所述声音报警装置启动；

当仅第一疲劳条件成立时，所述疲劳判定模块认为处于一般疲劳状态，所述振动电机(2)产生一级振动；当第一疲劳条件和第二疲劳条件成立时，疲劳判定模块认为处于较为疲劳状态，所述振动电机(2)产生二级振动；当第一疲劳条件、第二疲劳条件以及第三疲劳条件同时成立时，疲劳判定模块认为处于非常疲劳状态，所述振动电机(2)产生三级振动；

所述图像处理模块处理的图像时间间隔为0.05～0.2s，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值持续时间不超过0.1s，则图像分析模块认为是“眨眼”动作，不进行下一步判断。

2.根据权利要求1所述的一种疲劳驾驶监控系统，其特征在于，当判定为非常疲劳状态时，若在预设时间内，第一疲劳条件仍未解除，则所述处理器向车辆ECU发送切断发动机油门的指令，或进行自动制动介入。

3.根据权利要求1所述的一种疲劳驾驶监控系统，其特征在于，所述对图像进行预处理包括灰度化及高斯滤波处理，所述图像处理模块通过人脸对齐算法SDM-LBF，检测人脸位置；且将驾驶员眼睛区域图像输入到卷积神经网络进行深度学习和训练。

4.根据权利要求1所述的一种疲劳驾驶监控系统，其特征在于，所述红外摄像头(1)主体安装于方向盘(4)的轮辐管体内，所述振动电机(2)安装于方向盘(4)两侧的轮缘内壁，所述压力传感器(3)安装于方向盘(4)两侧的轮缘外壁。

说明书

技术领域

本发明属于车辆安全领域，具体涉及一种疲劳驾驶监控系统。

背景技术

车辆驾驶人疲劳时,判断能力下降、反应迟钝和操作失误增加。驾驶人处于轻微疲劳时，会出现换档不及时、不准确；驾驶人处于中度疲劳时，操作动作呆滞，有时甚至会忘记操作；驾驶人处于重度疲劳时，往往会下意识操作或出现短时间睡眠现象，严重时会失去对车辆的控制能力。如果仍勉强驾驶车辆，则可能导致交通事故的发生。因此，对疲劳驾驶检测很有必要，能有效地提醒驾驶员。

疲劳驾驶检测是安全驾驶中的重要部分，如何自动的检测行驶中的驾驶员的疲劳状态，并提醒驾驶员安全驾驶，这一问题已经成为一个广受关注的问题。关于疲劳检测目前有很多种方法。比较主流是检测驾驶员的脸部特征，进行判断，然而，由于图像识别技术受光线环境影响大，作为单一的判断依据，并不是行之有效的办法，容易出现误判，对驾驶员造成不必要的干扰。特别是高速行车时，是很危险的。

疲劳驾驶主要发生在长时间高速行驶，在此状态下，方向盘转动幅度小、驾驶员坐姿单一，因此，可以通过结合脸面特征识别及驾驶员的姿态来进行多方面判定，确保对疲劳驾驶者及时正确的提醒。

发明内容

本发明为了解决上述问题，提出一种疲劳驾驶监控系统，能多角度判断疲劳等级、安全可靠，能针对不同疲劳程度，能给予适当的提醒，安全性高，不易误判，不会对驾驶员造成干扰的特点，适用于防止在高速公路上进行疲劳驾驶。本发明采用的技术方案为：

一种疲劳驾驶监控系统，包括红外摄像头、触觉反馈装置、距离监测装置及处理器，所述红外摄像头、触觉反馈装置及距离监测装置分别与处理器连接；

所述红外摄像头设置于方向盘的上部中央，触觉反馈装置包括振动电机以及压力传感器，分别安装于方向盘的左右两侧；

距离监测装置包括三个红外距离传感器，分别位于车辆左侧A柱、右侧A柱及驾驶员座椅头枕，用于检测头部在车辆内的位置变化，即头部与左侧A柱之间的距离L1、头部与右侧A柱之间的距离L2及头部与头枕之间的距离L3；

所述处理器包括图像处理模块、图像分析模块以及疲劳判定模块；当车速高于预定值时，所述监控系统启动，所述红外摄像头将实时采集的图像传递至所述处理器中的图像处理模块，所述图像处理模块对图像进行预处理，通过人脸检测算法，检测人脸位置；基于Sobel算子，找出眼睛边缘特征点位置，根据其像素点位置计算上眼皮和下眼皮的最大高度差或眼睛区域面积；图像分析模块将预先存储的驾驶员脸部信息与所述图像处理模块处理后的结果进行对比；

连续处理多帧图像后，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值，则认为第一疲劳条件成立；所述处理器还采集所述触觉反馈装置中的压力传感器的信号，若驾驶员手握方向盘的压力在一定时间内的压力变化值低于阈值，则认为第二疲劳条件成立；所述处理器还采集所述红外距离传感器的数据，若头部与左侧A柱之间的距离变化值ΔL1、头部与右侧A柱之间的距离变化值ΔL2及头部与头枕之间的距离变化值ΔL3中的两个低于阈值，则认为第三疲劳条件成立；

当第一疲劳条件成立，不论第二疲劳条件、第二疲劳条件是否成立，则疲劳判定模块认为处于疲劳状态，所述处理器即控制所述振动电机工作。

优选地，所述处理器还包括声音报警装置，且所述振动电机的振动幅度由弱到强依次分为一级、二级及三级，当所述振动电机振动幅度为三级时，所述声音报警装置启动。

优选地，当仅第一疲劳条件成立时，所述疲劳判定模块认为处于一般疲劳状态，所述振动电机产生一级振动；当第一疲劳条件和第二疲劳条件成立时，疲劳判定模块认为处于较为疲劳状态，所述振动电机产生二级振动；当第一疲劳条件、第二疲劳条件以及第三疲劳条件同时成立时，疲劳判定模块认为处于非常疲劳状态，所述振动电机产生三级振动。

优选地，当判定为非常疲劳状态时，若在预设时间内，第一疲劳条件仍未解除，则所述处理器向车辆ECU发送切断发动机油门的指令，或进行自动制动介入。

优选地，所述图像处理模块处理的图像时间间隔为0.05～0.2s，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值持续时间不超过0.1s，则图像分析模块认为是“眨眼”动作，不进行下一步判断。

优选地，所述对图像进行预处理包括灰度化及高斯滤波处理，所述图像处理模块通过人脸对齐算法SDM-LBF，检测人脸位置；且将驾驶员眼睛区域图像输入到卷积神经网络进行深度学习和训练。

优选地，所述红外摄像头主体安装于方向盘的轮辐管体内，所述振动电机安装于方向盘两侧的轮缘内壁，所述压力传感器安装于方向盘两侧的轮缘内壁，与对应于振动电机位置相对应。

本发明相对现有技术，具有如下有益效果：

(1)本发明检测的参考数据多，综合考虑了面脸特征以及驾驶员的姿态，判断准确。包括计算上眼皮和下眼皮的最大高度差ΔH或眼睛区域面积ΔS、头部与左侧A柱之间的距离变化值ΔL1、头部与右侧A柱之间的距离变化值ΔL2、头部与头枕之间的距离变化值ΔL3，还包括压力传感器，根据不同数据结果，等于不同的疲劳等级，适应性地给予提醒。

(2)本发明核心的参考数据是上眼皮和下眼皮的最大高度差ΔH或眼睛区域面积ΔS，这两个参数准确地反应的疲劳时，闭眼的状态，能够更准确地进行确认是否疲劳。

(3)本发明的提醒方式是设置于方向盘两侧的振动电机。由于疲劳驾驶常发生于长时间的高速行驶，方向盘转动幅度小，大部分的情况下，方向盘处于正向位置，两手常放置于方向盘两侧，通过振动电机对驾驶员的手进行触觉反馈，能更及时、更易触发驾驶员的警觉性。

(4)本发明的距离监测装置在车辆的左侧A柱、右侧A柱及驾驶员座椅头枕上布置三个红外距离传感器，用于检测头部在车辆内的位置变化，从而判断是否疲劳；基于的理由在于驾驶员在疲劳状态下，肢体(如头部)移动量小。

(5)本发明的硬件设备易于安装，方便生产或改装。

附图说明

图1为本发明的一种疲劳驾驶监控系统整体构成示意图；

图2为本发明的一种疲劳驾驶监控系统的安装结构示意图；

图3为本发明的一种疲劳驾驶监控系统的距离传感器布置示意图；

图4为本发明的一种疲劳驾驶监控系统的疲劳判断示意图。

其中附图标记对应的名称为：

1红外摄像头、2振动电机、3压力传感器、4方向盘

具体实施例

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例一

如图1-3所示，一种疲劳驾驶监控系统，防止在高速公路上进行疲劳驾驶，包括红外摄像头1、触觉反馈装置、距离监测装置及处理器，红外摄像头1、触觉反馈装置及距离监测装置分别与处理器连接；

红外摄像头设置于方向盘4的上部中央，触觉反馈装置包括振动电机2以及压力传感器3，分别安装于方向盘的左右两侧；

距离监测装置包括三个红外距离传感器，分别位于车辆左侧A柱、右侧A柱及驾驶员座椅头枕，用于检测头部在车辆内的位置变化，即头部与左侧A柱之间的距离L1、头部与右侧A柱之间的距离L2及头部与头枕之间的距离L3；

处理器包括图像处理模块、图像分析模块以及疲劳判定模块；当车速高于预定值时，监控系统启动，红外摄像头将实时采集的图像传递至处理器中的图像处理模块，图像处理模块对图像进行预处理，通过人脸检测算法，检测人脸位置；基于Sobel算子，找出眼睛边缘特征点位置，根据其像素点位置计算上眼皮和下眼皮的最大高度差或眼睛区域面积；图像分析模块将预先存储的驾驶员脸部信息与图像处理模块处理后的结果进行对比；

连续处理多帧图像后，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值，则认为第一疲劳条件成立；处理器还采集触觉反馈装置中的压力传感器的信号，若驾驶员手握方向盘的压力在一定时间内的压力变化值低于阈值，则认为第二疲劳条件成立；处理器还采集红外距离传感器的数据，若头部与左侧A柱之间的距离变化值ΔL1、头部与右侧A柱之间的距离变化值ΔL2及头部与头枕之间的距离变化值ΔL3中的两个低于阈值，则认为第三疲劳条件成立；

当第一疲劳条件成立，不论第二疲劳条件、第三疲劳条件是否成立，则疲劳判定模块认为处于疲劳状态，处理器即控制振动电机工作。

处理器还包括声音报警装置，且振动电机的振动幅度由弱到强依次分为一级、二级及三级，当振动电机振动幅度为三级时，声音报警装置启动。

当仅第一疲劳条件成立时，疲劳判定模块认为处于一般疲劳状态，振动电机产生一级振动；当第一疲劳条件和第二疲劳条件成立时，疲劳判定模块认为处于较为疲劳状态，振动电机产生二级振动；当第一疲劳条件、第二疲劳条件以及第三疲劳条件同时成立时，疲劳判定模块认为处于非常疲劳状态，振动电机产生三级振动。

当判定为非常疲劳状态时，若在预设时间内，第一疲劳条件仍未解除，则处理器向车辆ECU发送切断发动机油门的指令，或进行自动制动介入。

另外，图像处理模块处理的图像时间间隔为0.05～0.2s，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值持续时间不超过0.1s，则图像分析模块认为是“眨眼”动作，不进行下一步判断。

对图像进行预处理包括灰度化及高斯滤波处理，图像处理模块通过人脸对齐算法SDM-LBF，检测人脸位置；且将驾驶员眼睛区域图像输入到卷积神经网络进行深度学习和训练。

对于SDM人脸对齐算法，其核心内容在于特征到偏移量的映射，公式为：

Ix＝R，其中I是特征，x是映射矩阵，R是偏移量。

SDM人脸对齐方法训练的目的就是得到映射矩阵x，步骤如下：1)归一化样本，使样本的尺度统一；2)计算均值人脸；3)将均值人脸作为估计人脸放在样本上，使均值中心和原始人脸形状中心对齐；4)计算基于每一个均值人脸的标记点的特征，即sift、surf或hog函数；5)将所有点的特征串在一起，形成样本特征，所有样本特征形成矩阵I；6)计算估计人脸和真实人脸之间的偏移量，并形成矩阵R；7)解线性方程Ix＝R，matlab中可用x＝I\R，lapack中可用函数dgelsd。

红外摄像头主体安装于方向盘的轮辐管体内，振动电机安装于方向盘两侧的轮缘内壁，压力传感器安装于方向盘两侧的轮缘外壁，与对应于振动电机位置相对应；此处的“方向盘两侧”指的是方向盘没有转向夹角或夹角很小的情况，因为，驾驶员易在直线行驶时因疲劳闭眼，在转弯时，不易出现疲劳闭眼。

本发明的应用场景在于防止在高速公路上进行疲劳驾驶，本发明的具体工作过程如下：在车辆上安装本发明的硬件装置，如红外摄像头、振动电机、压力传感器、红外距离传感器及处理器；当在车辆高速公路上行驶的车速超过预计速度时，例如，车速下限为80Km/h，本发明的疲劳驾驶监控系统启动，红外摄像头实时捕捉驾驶员的面部表情，当检测到上眼皮和下眼皮的最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值，即第一疲劳条件成立，处理器即向振动电机发出信号进行振动；进一步地，处理器还参考压力传感器的信号以及红外距离传感器的数据，若驾驶员手握方向盘的压力在一定时间内的压力变化值低于阈值，则认为第二疲劳条件成立；处理器还采集红外距离传感器的数据，若头部与左侧A柱之间的距离变化值ΔL1、头部与右侧A柱之间的距离变化值ΔL2及头部与头枕之间的距离变化值ΔL3中的两个低于阈值，则认为第三疲劳条件成立；振动电机的振动强度受第二疲劳条件、第三疲劳条件的影响；当第一疲劳条件、第二疲劳条件以及第三疲劳条件同时成立时，疲劳判定模块认为处于非常疲劳状态，振动电机产生三级振动，此时，声音报警会启动。

实施例二

一种疲劳驾驶监控系统，防止在高速公路上进行疲劳驾驶，包括红外摄像头1、触觉反馈装置、距离监测装置及处理器，红外摄像头1、触觉反馈装置及距离监测装置分别与处理器连接；

红外摄像头设置于方向盘4的上部中央，触觉反馈装置包括振动电机2以及压力传感器3，分别安装于方向盘的左右两侧；

距离监测装置包括三个红外距离传感器，分别位于车辆左侧A柱、右侧A柱及驾驶员座椅头枕，用于检测头部在车辆内的位置变化，即头部与左侧A柱之间的距离L1、头部与右侧A柱之间的距离L2及头部与头枕之间的距离L3；

处理器包括图像处理模块、图像分析模块以及疲劳判定模块；当车速高于预定值时，监控系统启动，红外摄像头将实时采集的图像传递至处理器中的图像处理模块，图像处理模块对图像进行预处理，通过人脸检测算法，检测人脸位置；基于Sobel算子，找出眼睛边缘特征点位置，根据其像素点位置计算上眼皮和下眼皮的最大高度差或眼睛区域面积；图像分析模块将预先存储的驾驶员脸部信息与图像处理模块处理后的结果进行对比；

连续处理多帧图像后，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值，则认为第一疲劳条件成立；处理器还采集触觉反馈装置中的压力传感器的信号，若驾驶员手握方向盘的压力在一定时间内的压力变化值低于阈值，则认为第二疲劳条件成立；处理器还采集红外距离传感器的数据，若头部与左侧A柱之间的距离变化值ΔL1、头部与右侧A柱之间的距离变化值ΔL2及头部与头枕之间的距离变化值ΔL3中的两个低于阈值，则认为第三疲劳条件成立；

当第一疲劳条件不成立时，若第二疲劳条件、第三疲劳条件均成立，则疲劳判定模块认为处于疲劳状态，处理器即控制振动电机工作。

此种情况是针对光线不足或驾驶员眼睛被遮挡(如带眼镜)的环境下，而提供的疲劳驾驶监控模式。

实施例三

一种疲劳驾驶监控系统，防止在高速公路上进行疲劳驾驶，包括红外摄像头1、触觉反馈装置、距离监测装置及处理器，红外摄像头1、触觉反馈装置及距离监测装置分别与处理器连接；

红外摄像头设置于方向盘4的上部中央，触觉反馈装置包括振动电机2以及压力传感器3，分别安装于方向盘的左右两侧；

距离监测装置包括三个红外距离传感器，分别位于车辆左侧A柱、右侧A柱及驾驶员座椅头枕，用于检测头部在车辆内的位置变化，即头部与左侧A柱之间的距离L1、头部与右侧A柱之间的距离L2及头部与头枕之间的距离L3；

处理器包括图像处理模块、图像分析模块以及疲劳判定模块；当车速高于预定值时，监控系统启动，红外摄像头将实时采集的图像传递至处理器中的图像处理模块，图像处理模块对图像进行预处理，通过人脸检测算法，检测人脸位置；基于Sobel算子，找出眼睛边缘特征点位置，根据其像素点位置计算上眼皮和下眼皮的最大高度差或眼睛区域面积；图像分析模块将预先存储的驾驶员脸部信息与图像处理模块处理后的结果进行对比；

连续处理多帧图像后，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值，则认为第一疲劳条件成立；处理器还采集触觉反馈装置中的压力传感器的信号，若驾驶员手握方向盘的压力在一定时间内的压力变化值低于阈值，则认为第二疲劳条件成立；处理器还采集红外距离传感器的数据，若头部与左侧A柱之间的距离变化值ΔL1、头部与右侧A柱之间的距离变化值ΔL2及头部与头枕之间的距离变化值ΔL3中的两个低于阈值，则认为第三疲劳条件成立；

当第一疲劳条件成立，不论第二疲劳条件、第三疲劳条件是否成立，则疲劳判定模块认为处于疲劳状态，处理器即控制振动电机工作。

所述红外摄像头1安装于仪表板上，大致在驾驶员正前方的位置，所述振动电机有2至4个，分别均匀分布于方向盘4轮缘内壁，所述压力传感器有2至4个，分别均匀分布于方向盘4两侧的轮缘外壁。

以上所述，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

一种疲劳驾驶监控系统专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。