基于多層深度學(xué)習(xí)框架和運(yùn)動(dòng)分析的駕駛員疲勞監(jiān)測系統(tǒng)

1   前言

困倦是一種生理狀態(tài)，其特征是人的意識程度降低，難以保持清醒狀態(tài)。根據(jù)國家安全委員會的調(diào)查，在美國，疲勞駕駛導(dǎo)致的致命性事故的占比正在顯著上升^[1]。因此，開發(fā)一種可以提前發(fā)現(xiàn)駕駛員生理狀況不適宜開車的有效預(yù)警系統(tǒng)將具有重要意義。據(jù)報(bào)道，有研究顯示，心率變異性（HRV）與駕駛員的注意力程度相關(guān)聯(lián)^[2]。準(zhǔn)確的講，心率變異性是一個(gè)代表個(gè)體的生理適應(yīng)能力和行為靈活性的重要指標(biāo)。評估心臟運(yùn)動(dòng)的方法是使用PPG信號測量血壓，由此再評估心率變異性。具體地說，PPG信號是由代表逐次心動(dòng)周期的血管容積峰值組成，PPG檢測方法是，使用LED光源照射皮膚的不同部位，再用光電二極管評價(jià)光的反射強(qiáng)度^[3]。盡管生理信號使我們能夠監(jiān)測困倦程度，但是最近的研究方向主要是使用計(jì)算機(jī)視覺技術(shù)評估駕駛員的疲勞程度^[4]。雖然在汽車環(huán)境中開發(fā)人臉檢測系統(tǒng)肯定具有挑戰(zhàn)性，但仍有許多方法使用攝像頭確定眨眼率，由此來評估疲勞程度^[5]。與其它研究不同，我們的方法側(cè)重于利用計(jì)算機(jī)視覺技術(shù)來檢測和提取人臉特征點(diǎn)，通過分析先前錄制的視頻序列的像素強(qiáng)度變化，來定義人臉特征點(diǎn)的時(shí)間序列。更具體地說，我們的方法的基本原理也是通過“視頻放大”來揭示血壓變化引起的面部細(xì)微運(yùn)動(dòng)。本研究的目的是通過定義人臉特征點(diǎn)時(shí)間序列而不是使用傳感器來構(gòu)建PPG信號。

本文后面的結(jié)構(gòu)如下：第二部分介紹相關(guān)的研究成果；第三部分概述PPG信號，并介紹我們的基于長期短記憶和卷積神經(jīng)網(wǎng)絡(luò)的管道。第四部分解釋實(shí)驗(yàn)過程。最后，第五部分討論我們方法的優(yōu)點(diǎn)和未來研究方向。

2   相關(guān)研究

在以往發(fā)表的論文著作中，大部分是通過生理信號檢測駕駛員困倦，取得了很高的檢測精度。事實(shí)上，很多研究證明，僅基于計(jì)算機(jī)視覺技術(shù)的駕駛員疲勞監(jiān)測解決方案可能不一定行之有效，尤其是側(cè)重于分析交通標(biāo)志的視覺方法，在路況不佳時(shí)，往往會失敗。

一部分科研人員曾公布了一項(xiàng)光體積描述信號(PPG) 檢測研究成果^[6]，作者使用低功率無線PPG傳感器取得了很好的檢測效果。另一種方法 ^[7] 是作者利用在手指和耳垂檢測到的低頻和高頻PPG信號來評估疲勞程度。本文引用的研究成果主要是通過研究ECG和PPG信號來評估HRV信號。不過，本文所引用的方法對計(jì)算性能有較高的要求，需要在車上集成昂貴的檢測設(shè)備。盡管集成的傳感器不一定是直接測量工具，但為了準(zhǔn)確地獲取生理信號，駕駛員還是需要將手或身體的其它部分（例如耳垂或手指）放在傳感器上，這對于在汽車上推廣應(yīng)用是一個(gè)限制。本文另辟蹊徑，提出一個(gè)創(chuàng)新的框架，基本原理是抓取司機(jī)面部圖像，采集人臉特征點(diǎn)，重建PPG信號，以此評估HRV信號和疲勞程度。

3   背景和管道方案

如前所述，我們提出了一種創(chuàng)新的駕駛員困倦狀態(tài)監(jiān)測方法，而無需使用傳感器來獲取PPG信號。部分學(xué)者的研究成果^[8]闡述了視頻放大方法是如何通過放大普通視頻圖像來揭示人臉面部的運(yùn)動(dòng)變化，因?yàn)橹鸫涡膭?dòng)周期中的血壓變化會引起皮膚不同部位的顏色變化。研究證明，自主神經(jīng)系統(tǒng)活動(dòng)可調(diào)節(jié)某些生理過程，例如，血壓和呼吸速率，通過評估心率變異性信號可以間接測量這些生理過程，因?yàn)樾穆首儺愋孕盘栐谏韷毫?、極度疲勞和困倦期間會出現(xiàn)變化。

評估HRV心率變異性需要使用生物反饋工具或軟件，以及檢測心電信號的高質(zhì)量傳感器，還需要功能強(qiáng)大的處理器來管理大量的數(shù)據(jù)。ECG信號是傳統(tǒng)的心率變異性評估方法，不過，這種方法在使用上存在某些缺陷，盡管檢測效果良好，但是在數(shù)據(jù)采集（數(shù)據(jù)采樣）過程中，人體的細(xì)微運(yùn)動(dòng)會導(dǎo)致信號內(nèi)出現(xiàn)一些噪聲和偽影。為了克服ECG的問題，業(yè)界提出PPG信號是可靠的解決方案，檢測血液容積變化的能力使PPG能夠有效地檢測裸眼難以觀察到的皮膚細(xì)微運(yùn)動(dòng)。特別是，通過分析PPG信號，我們能夠界定在特定時(shí)段內(nèi)的心率變化，顯示自主神經(jīng)系統(tǒng)的兩個(gè)分支（副交感神經(jīng)和交感神經(jīng)）是否都在正常工作。通常，HRV值小，表示心率間隔恒定；HRV值大，則表示心率間隔異常。非常正常的心律和心率的細(xì)微變化可以確定注意力是否因?yàn)槁陨韷毫Χ档?。但是，不存在一個(gè)標(biāo)準(zhǔn)的HRV值，因?yàn)镠RV值因人而異。

考慮到這一點(diǎn)，我們采用長期短記憶（LSTM）神經(jīng)網(wǎng)絡(luò)^[9]與卷積神經(jīng)網(wǎng)絡(luò)（CNN）^[10]相結(jié)合的方法開發(fā)了一個(gè)駕駛員困倦監(jiān)測系統(tǒng)。本文提出的管道機(jī)制代表心臟運(yùn)動(dòng)評估方法取得了進(jìn)步，因?yàn)樗鞘褂靡粋€(gè)低幀率（25fps）攝像頭檢測和提取人臉圖像中的關(guān)鍵特征點(diǎn)，并分析每個(gè)視頻幀的像素變化。準(zhǔn)確地講，LSTM是評估數(shù)據(jù)之間隱藏的非線性相關(guān)性的有力解決方案。

具體地講，LSTM管道的輸出是綜合傳感器檢測到的原始PPG目標(biāo)數(shù)據(jù)后預(yù)測的人臉特征點(diǎn)時(shí)間序列。

此外，CNN模型的準(zhǔn)確分類表示LSTM預(yù)測有效，可以確定汽車駕駛員的注意力程度。

4   實(shí)驗(yàn)

總共有71個(gè)對象參與了我們的LSTM-CNN管道運(yùn)行。更具體地說，數(shù)據(jù)集是來自不同性別、年齡（20至70歲之間）和病理的病患/駕駛員的PPG樣本。在這種情況下，我們不僅采集健康對象的數(shù)據(jù)，還收集高血壓、糖尿病等病患的數(shù)據(jù)。考慮到這兩種困倦狀態(tài)的差異，分別測量了兩種困倦各自的PPG信號樣本。具體地而言，我們模擬被同步ECG采樣信號證實(shí)的完全清醒和困倦兩種情景，其中Beta和Alpha波形分別證實(shí)大腦在喚醒和困倦時(shí)的活動(dòng)狀態(tài)。每種情景的模擬間隔設(shè)為5分鐘，以確保系統(tǒng)有充足的時(shí)間完成初步校準(zhǔn)和實(shí)時(shí)連續(xù)學(xué)習(xí)。同時(shí)，我們使用低幀率（25fps）全高清攝像機(jī)記錄一段駕駛員的面部視頻，如前文所述，我們先用基于Kazemi和Sullivan機(jī)器學(xué)習(xí)算法 ^[11] 的dlib庫，檢測先前錄制的視頻幀，提取人臉面部特征點(diǎn)，然后，計(jì)算與每個(gè)特征點(diǎn)關(guān)聯(lián)的像素強(qiáng)度，以及每幀像素強(qiáng)度的變化，確定人臉特征點(diǎn)的時(shí)間序列，將其輸入LSTM神經(jīng)網(wǎng)絡(luò)。

4.1   CNN管道

本節(jié)將更詳細(xì)地介紹實(shí)驗(yàn)中使用的CNN模型架構(gòu)。本文提出的CNN架構(gòu)為驗(yàn)證LSTM預(yù)測結(jié)果提供有力的證據(jù)。具體地講，我們的CNN模型能夠跟蹤和學(xué)習(xí)汽車駕駛員的面部表情，從而提高困倦檢測水平。為了訓(xùn)練模型，我們將批大小(batch size)設(shè)為32，初始學(xué)習(xí)率設(shè)為0.0001。此外，我們在隱藏層中使用了32個(gè)神經(jīng)元，在二進(jìn)制分類中使用了2個(gè)輸出神經(jīng)元。

我們非?？春脤?shí)驗(yàn)結(jié)果，因?yàn)闇?zhǔn)確率達(dá)到80％。

圖. 1. LSTM管道

4.2   長短期記憶網(wǎng)絡(luò)（LSTM，Long Short-Term Memory）管道

關(guān)于長短期記憶網(wǎng)絡(luò)（LSTM，Long Short-Term Memory）檢測順序數(shù)據(jù)（時(shí)間序列）的關(guān)聯(lián)性的能力，我們構(gòu)建了一個(gè)LSTM模型，用面部特征點(diǎn)時(shí)間序列作為輸入數(shù)據(jù)，原始PPG信號作為目標(biāo)數(shù)據(jù)，重建PPG信號（圖1）。在使用MinMaxScaler算法調(diào)整（0.2，0.8）范圍內(nèi)的所有時(shí)間序列值后，綜合考慮以下參數(shù)，我們進(jìn)行了模型訓(xùn)練。模擬訓(xùn)練采用256個(gè)神經(jīng)元，批大小(batch size)128，初始學(xué)習(xí)率和輟學(xué)率分別設(shè)為0.001和0.2。為了評估PPG重構(gòu)信號的魯棒性，我們計(jì)算了PPG最小點(diǎn)的頻率（傅里葉頻譜），我們特別分析了這些點(diǎn)的頻率，比較了原始PPG最小點(diǎn)的頻率與重構(gòu)PPG最小點(diǎn)的頻率。

圖2.原始PPG最小點(diǎn)的快速傅立葉變換（FFT）頻譜（藍(lán)色）和重建PPG最小點(diǎn)的快速傅立葉變換（綠色）。

5  結(jié)論

最后，我們提供了一種基于LSTM-CNN的有效的監(jiān)測系統(tǒng)，通過PPG信號評估心臟活動(dòng)來確定駕駛員的困倦程度。與其它方法不同，我們的方法是利用面部特征點(diǎn)數(shù)據(jù)重建PPG信號，不涉及傳感器系統(tǒng)。如前文所述，我們構(gòu)建了LSTM管道，用面部特征點(diǎn)時(shí)間序列作為輸入數(shù)據(jù)，傳感器檢測到的PPG作為目標(biāo)數(shù)據(jù)，證明PPG重構(gòu)信號的魯棒性。此外，我們還構(gòu)建了CNN模型，不僅可以對駕駛員的生理狀態(tài)進(jìn)行分類，還可以驗(yàn)證LSTM的預(yù)測結(jié)果。最后，我們計(jì)算了原始PPG最小點(diǎn)的快速傅立葉變換（FFT）頻譜和重構(gòu)的PPG最小點(diǎn)的FFT頻譜（圖2）。實(shí)驗(yàn)結(jié)果證明，我們的方法有廣闊的應(yīng)用前景，因?yàn)槲覀兡軌騾^(qū)分瞌睡的對象與清醒的對象，準(zhǔn)確率接近100％，這與科學(xué)文獻(xiàn)報(bào)道的類似管道取得的平均成績一致。使用改進(jìn)的PPG傳感器^[12]，以及利用Stacked-AutoEconder架構(gòu)^[13]學(xué)會的特殊功能對PPG信號進(jìn)行深度處理，將會給本文提出的管道帶來哪些改進(jìn)，是本文作者目前正在研究的方向。

參考文獻(xiàn)

^[1] National Safety Council: https://www.nsc.org/road-safety/safety-topics/fatality-estimates

^[2] Melo, H. M., Nascimento, L. M., Takase, E., Mental fatigue and heart rate variability (HRV): The time-on-task effect. Psychology & Neuroscience, 10 (2017) 428-436.

^[3] Rundo, F.; Ortis, A.; Battiato, S.; Conoci, S., Advanced Bio-Inspired System for Noninvasive Cuff-Less Blood Pressure Estimation from Physiological Signal Analysis, Computation 6 (2018) 46.

^[4] Zhang, W., Cheng, B., Lin, Y., Driver drowsiness recognition based on computer vision technology, Tsinghua Science and Technology 17 (2012) 354-362.

^[5] Haq, Z. A., Hasan, Z., Eye-blink rate detection for fatigue determination. In 1st India International Conference on Information Processing (IICIP), Delhi, India, 2016, 1-5.

^[6] Xu Y. J.; Ding, F.; Wu, Z.; Wang, J.; Ma, Q.; Chon, K.; Clancy, E.; Qin, M.; Mendelson, Y.; Fu, N.; Assad, S.; Jarvis, S.; Huang, X., Drowsiness control center by photoplythesmogram, In Proceedings of 38th Annual Northeast Bioengineering Conference (NEBEC), Philadelphia, USA, 2012, 430-431.

^[7] Koh, S.; Cho, B. R.; Lee J.-I.; Kwon, S.-O.; Lee, S.; Lim, J. B.; Lee, S. B.; Kweon, H.-D., Driver drowsiness detection via PPG biosignals by using multimodal head support, In Proceedings of the 4th International Conference on Control, Decision and Information Technologies (CoDIT), Barcelona, Spain, 2017, 383-388;

^[8] Wu, H.-Y., Rubinstein, M., Shih, E., Guttag, J., Durand, F., Freeman, W. T. Eulerian Video Magnification for Revealing Subtle Changes in the World. ACM Transactions on Graphics 31 (2012)

^[9] Hochreiter, S., Schmidhuber, J, Long Short-Term Memory, Neural Computation 9 (1997) 1735 1780

^[10] Lecun, Y., Bengio, Y., Convolutional Networks for Images, Speech, and Time-Series, The Handbook of Brain Theory and Neural Networks (1995).

^[11] Kazemi, V., Sullivan, J., One millisecond face alignment with an ensemble of regression trees., In 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014, 1867-1874.

^[12] Mazzillo, M., Maddiona, L., Rundo, F., Sciuto, A., Libertino, S., Lombardo, S., Characterization of SiPMs With NIR Long-Pass Interferential and Plastic Filters, In IEEE Photonics Journal, 10 (2018) 1-12.

^[13] Rundo, F., Conoci, S., Banna, G.L., Ortis, A., Stanco, F., Battiato, S., Evaluation of Levenberg-Marquardt neural networks and stacked autoencoders clustering for skin lesion analysis, screening and follow-up, IET Computer Vision 12 (2018) 957-962.