留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于多形态红外特征与深度学习的实时驾驶员疲劳检测

耿磊 梁晓昱 肖志涛 李月龙

耿磊, 梁晓昱, 肖志涛, 李月龙. 基于多形态红外特征与深度学习的实时驾驶员疲劳检测[J]. 红外与激光工程, 2018, 47(2): 203009-0203009(9). doi: 10.3788/IRLA201847.0203009
引用本文: 耿磊, 梁晓昱, 肖志涛, 李月龙. 基于多形态红外特征与深度学习的实时驾驶员疲劳检测[J]. 红外与激光工程, 2018, 47(2): 203009-0203009(9). doi: 10.3788/IRLA201847.0203009
Geng Lei, Liang Xiaoyu, Xiao Zhitao, Li Yuelong. Real-time driver fatigue detection based on morphology infrared features and deep learning[J]. Infrared and Laser Engineering, 2018, 47(2): 203009-0203009(9). doi: 10.3788/IRLA201847.0203009
Citation: Geng Lei, Liang Xiaoyu, Xiao Zhitao, Li Yuelong. Real-time driver fatigue detection based on morphology infrared features and deep learning[J]. Infrared and Laser Engineering, 2018, 47(2): 203009-0203009(9). doi: 10.3788/IRLA201847.0203009

基于多形态红外特征与深度学习的实时驾驶员疲劳检测

doi: 10.3788/IRLA201847.0203009
基金项目: 

国家自然科学基金(61601325,61771340)

详细信息
    作者简介:

    耿磊(1982-),男,副教授,硕士生导师,主要从事测试测量技术及仪器方面的研究。Email:genglei@tjpu.edu.cn

    通讯作者: 肖志涛(1971-),男,教授,博士生导师,主要从事图像处理与模式识别方面的研究。Email:xiaozhitao@tjpu.edu.cn
  • 中图分类号: TP391

Real-time driver fatigue detection based on morphology infrared features and deep learning

  • 摘要: 疲劳驾驶是导致车祸的重要诱因,严重危害道路交通安全,而车辆行驶过程中的光照条件变化、驾驶员姿态调整和眼镜遮挡等因素将对疲劳检测任务产生不利的影响。针对以上问题,提出了基于深度学习的驾驶员疲劳检测算法。首先,使用850nm红外光源补光,在复杂光照和遮挡形态下采集驾驶员的面部图像;其次,利用红外图像中的多种特征,通过级联CNN确定人脸边框和特征点位置,提取眼睛区域并识别眼睛的睁闭状态;最后,将眼睛状态识别结果和连续图像中的特征点坐标差值输出至LSTM网络,检测驾驶员疲劳状态。实验结果表明:该疲劳检测算法的准确率可达94.48%,平均检测时间为65.64ms。
  • [1] Katsis C D, Ntouvas N E, Bafas C G, et al. Assessment of muscle fatigue during driving using surface EMG[C]//Proceedings of the IASTED International Conference on Biomedical Engineering, 2004:259-262.
    [2] Ohsuga M, Kamakura Y, Roongroj Nopsuwanchai, et al. Classification of blink waveforms toward the assessment of driver's arousal levels-an EOG approach and the correlation with physiological measures[C]//Engineering Psychology and Cognitive Ergonomics, 2007:787-795.
    [3] Takahashi I, Yokoyama K. Development of a feedback stimulation for drowsy driver using heartbeat rhythms[C]//Engineering in Medicine and Biology Society, 2011:4153-4158.
    [4] Jin Xue. Research on the detection method of fatigue driving based on driving behavior[D]. Beijing:Beijing University of Technology, 2015. (in Chinese)
    [5] Celenk M, Eren H, Poyraz M. Prediction of driver head movement via Bayesian learning and ARMA modeling[C]//Intelligent Vehicles Symposium, 2009:542-547.
    [6] Friedrichs F, Yang B. Drowsiness monitoring by steering and lane data based features under real driving conditions[C]//European Signal Processing Conference, 2010:209-213.
    [7] Tao H, Zhao Y. Real-time driver fatigue detection based on face alignment[C]//International Conference on Digital Image Processing, 2017:1042003.
    [8] Meng C N, Bai J J, Zhang T N, et al. Eye movement analysis for activity recognition based on one web camera[J]. Acta Physica Sinica, 2013, 62(17):116-121.
    [9] Cheng Ruzhong, Zhao Yong, Dai Yong, et al. An on-board embedded driver fatigue warning system based on adaboost method[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2012, 48(5):719-726. (in Chinese)
    [10] Kuang Wenteng, Mao Kuancheng, Hong Jiacai, et al. Fatigue driving detection based on sclera Gaussian model[J]. Journal of Image and Graphics, 2016, 21(11):1515-1522.
    [11] Wang Jizhou, Li Hong, Xiong Yuqing, et al. Design and preparation of one induced transmission filter with anlistatig and anti-infrared character[J]. Infrared and Laser Engineering, 2015, 44(10):3005-3009. (in Chinese)
    [12] Boser B, Denker J S. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation, 1989, 1(4):541-551.
    [13] Farhan M, Yli-Harja O, Niemist A. A novel method for splitting clumps of convex objects incorporating image intensity and using rectangular window-based concavity point-pair search[J]. Pattern Recognition, 2013, 46(3):741-751.
    [14] Alex Krizhevsky, Llya Sutskever, Geoffrey E, et al. ImageNet classification with deep convolutional neural networks[J]. Communications of the Acm, 2012, 60(2):2012.
    [15] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Computer Vision and Pattern Recognition, 2014:580-587.
    [16] Girshick R. Fast R-CNN[C]//IEEE International Conference on Computer Vision, 2015:1440-1448.
    [17] Ren S, He K, Girshick R, et al. Faster R-CNN:towards real-time object detection with region proposal networks[C]//International Conference on Neural Information Processing Systems, 2015:91-99.
    [18] Redmon J, Divvala S, Girshick R, et al. You only look once:unified real-time object detection[C]//Computer Vision and Pattern Recognition, 2015, arxiv:1506, 02640.
    [19] Donahue J, Hendricks L A, Rohrbach M, et al. Long-term recurrent convolutional networks for visual recognition and description[J]. IEEE Transactions on Pattern Analysis Machine Intelligence, 2014, 39(4):677-691.
    [20] Zhang K, Zhang Z, Li Z, et al. Joint face detection and alignment using multitask cascaded convolutional networks[J]. IEEE Signal Processing Letters, 2016, 23(10):1499-1503.
    [21] Li Rui. Facial expression recognition method based on feature fusion[D]. Hefei:Hefei University of Technology, 2013. (in Chinese)
    [22] Hu Feng. Multi-source information fusion application to driving fatigue detection[D]. Hefei:Anhui University of Science and Technology, 2014. (in Chinese)
    [23] Chen Mingchu. Research on driver fatigue detection based on eye state[D]. Chongqing:Chongqing University, 2012. (in Chinese)
    [24] Ma Ying. Research on driver fatigue alarm system based on facial features[D]. Hefei:Anhui University of Technology, 2016. (in Chinese)
    [25] Zhang F, Su J, Geng L, et al. Driver fatigue detection based on eye state recognition[C]//International Conference on Machine Vision and Information Technology, 2017:105-110.
    [26] Sepp Hochreiter, Jrgen Schmidhuber. Long short-term memory[J]. Neural Computation, 1997, 9(8):1735-1780.
    [27] Ma X, Hovy E. End-to-end sequence labeling via Bi-directional LSTM-CNNs-CRF[C]//Meeting of the Association for Computational Linguistics, 2016:1064-1074.
    [28] He K, Zhang X, Ren S, et al. Delving deep into rectifiers:surpassing human-level performance on imageNet classification[C]//IEEE International Conference on Computer Vision, 2016:1026-1034.
  • [1] 翟光, 胡圣冉, 孙一勇.  面向天基红外预警的高动态弱小目标LSTM检测方法研究 . 红外与激光工程, 2023, 52(10): 20230010-1-20230010-11. doi: 10.3788/IRLA20230010
    [2] 廖莎莎.  基于筛选深度特征的红外图像目标识别方法 . 红外与激光工程, 2022, 51(5): 20210372-1-20210372-6. doi: 10.3788/IRLA20210372
    [3] 王鹏翔, 张兆基, 杨怀.  结合多特征融合和极限学习机的红外图像目标分类方法 . 红外与激光工程, 2022, 51(6): 20210597-1-20210597-6. doi: 10.3788/IRLA20210597
    [4] 夏信, 何传亮, 吕英杰, 王守志, 张博, 陈晨, 陈海鹏, 李美萱.  深度学习驱动的智能电网运行图像数据压缩技术 . 红外与激光工程, 2022, 51(12): 20220097-1-20220097-6. doi: 10.3788/IRLA20220097
    [5] 李霖, 王红梅, 李辰凯.  红外与可见光图像深度学习融合方法综述 . 红外与激光工程, 2022, 51(12): 20220125-1-20220125-20. doi: 10.3788/IRLA20220125
    [6] 王志远, 赖雪恬, 林惠川, 陈福昌, 曾峻, 陈子阳, 蒲继雄.  基于深度学习实现透过浑浊介质图像重构(特邀) . 红外与激光工程, 2022, 51(8): 20220215-1-20220215-10. doi: 10.3788/IRLA20220215
    [7] 庞忠祥, 刘勰, 刘桂华, 龚泿军, 周晗, 罗洪伟.  并行多特征提取网络的红外图像增强方法 . 红外与激光工程, 2022, 51(8): 20210957-1-20210957-9. doi: 10.3788/IRLA20210957
    [8] 史国军.  深度特征联合表征的红外图像目标识别方法 . 红外与激光工程, 2021, 50(3): 20200399-1-20200399-6. doi: 10.3788/IRLA20200399
    [9] 刘云朋, 霍晓丽, 刘智超.  基于深度学习的光纤网络异常数据检测算法 . 红外与激光工程, 2021, 50(6): 20210029-1-20210029-6. doi: 10.3788/IRLA20210029
    [10] 朱晓婷, 刘雁翔, 郭锐, 刘荣忠, 武军安.  末敏弹线阵红外图像的Harris角点检测优化算法 . 红外与激光工程, 2019, 48(S2): 149-155. doi: 10.3788/IRLA201948.S226004
    [11] 梁欣凯, 宋闯, 赵佳佳.  基于深度学习的序列图像深度估计技术 . 红外与激光工程, 2019, 48(S2): 134-141. doi: 10.3788/IRLA201948.S226002
    [12] 唐聪, 凌永顺, 杨华, 杨星, 路远.  基于深度学习的红外与可见光决策级融合检测 . 红外与激光工程, 2019, 48(6): 626001-0626001(15). doi: 10.3788/IRLA201948.0626001
    [13] 韩义波, 杨新锋, 滕书华, 庄祉昀.  激光与红外融合目标检测 . 红外与激光工程, 2018, 47(8): 804005-0804005(7). doi: 10.3788/IRLA201847.0804005
    [14] 姚旺, 刘云鹏, 朱昌波.  基于人眼视觉特性的深度学习全参考图像质量评价方法 . 红外与激光工程, 2018, 47(7): 703004-0703004(8). doi: 10.3788/IRLA201847.0703004
    [15] 唐聪, 凌永顺, 郑科栋, 杨星, 郑超, 杨华, 金伟.  基于深度学习的多视窗SSD目标检测方法 . 红外与激光工程, 2018, 47(1): 126003-0126003(9). doi: 10.3788/IRLA201847.0126003
    [16] 唐聪, 凌永顺, 杨华, 杨星, 郑超.  基于深度学习物体检测的视觉跟踪方法 . 红外与激光工程, 2018, 47(5): 526001-0526001(11). doi: 10.3788/IRLA201847.0526001
    [17] 张秀玲, 侯代标, 张逞逞, 周凯旋, 魏其珺.  深度学习的MPCANet火灾图像识别模型设计 . 红外与激光工程, 2018, 47(2): 203006-0203006(6). doi: 10.3788/IRLA201847.0203006
    [18] 唐庆菊, 刘俊岩, 王扬, 刘元林, 梅晨.  基于模糊C均值聚类和Canny算子的红外图像边缘识别与缺陷定量检测 . 红外与激光工程, 2016, 45(9): 928001-0928001(5). doi: 10.3788/IRLA201645.0928001
    [19] 孙韶媛, 李琳娜, 赵海涛.  采用KPCA和BP神经网络的单目车载红外图像深度估计 . 红外与激光工程, 2013, 42(9): 2348-2352.
    [20] 王慧丽, 齐异, 刘焕英.  舰船尾流红外图像边界检测方法 . 红外与激光工程, 2013, 42(2): 524-527.
  • 加载中
计量
  • 文章访问数:  966
  • HTML全文浏览量:  236
  • PDF下载量:  168
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-08-10
  • 修回日期:  2017-10-28
  • 刊出日期:  2018-02-25

基于多形态红外特征与深度学习的实时驾驶员疲劳检测

doi: 10.3788/IRLA201847.0203009
    作者简介:

    耿磊(1982-),男,副教授,硕士生导师,主要从事测试测量技术及仪器方面的研究。Email:genglei@tjpu.edu.cn

    通讯作者: 肖志涛(1971-),男,教授,博士生导师,主要从事图像处理与模式识别方面的研究。Email:xiaozhitao@tjpu.edu.cn
基金项目:

国家自然科学基金(61601325,61771340)

  • 中图分类号: TP391

摘要: 疲劳驾驶是导致车祸的重要诱因,严重危害道路交通安全,而车辆行驶过程中的光照条件变化、驾驶员姿态调整和眼镜遮挡等因素将对疲劳检测任务产生不利的影响。针对以上问题,提出了基于深度学习的驾驶员疲劳检测算法。首先,使用850nm红外光源补光,在复杂光照和遮挡形态下采集驾驶员的面部图像;其次,利用红外图像中的多种特征,通过级联CNN确定人脸边框和特征点位置,提取眼睛区域并识别眼睛的睁闭状态;最后,将眼睛状态识别结果和连续图像中的特征点坐标差值输出至LSTM网络,检测驾驶员疲劳状态。实验结果表明:该疲劳检测算法的准确率可达94.48%,平均检测时间为65.64ms。

English Abstract

参考文献 (28)

目录

    /

    返回文章
    返回