MaskedFace-Net | 新冠疫情中的口罩檢測（附論文及源代碼）

戴口罩似乎是限制covid-19傳播的一種解決方案。在這種情況下，有效的識別系統(tǒng)被期望用于檢查人在被管制的區(qū)域是否戴口罩。因此，對于訓(xùn)練深度學(xué)習(xí)模型來檢測戴口罩的人和不戴口罩的人，一個大量的戴口罩的人臉數(shù)據(jù)集是必要的。

一、簡要

目前，沒有可用的大型戴口罩人臉圖像數(shù)據(jù)集允許檢查面部是否正確遮擋。事實(shí)上，由于不良行為或個人（如兒童、老年人）的原因，許多人沒有正確地戴上口罩。由于這些原因，一些戴著口罩的活動打算讓人們了解這個問題和良好的做法。

從這個意義上說，有研究者就提出了一種圖像編輯方法和三種遮擋人臉檢測數(shù)據(jù)集；即正確遮擋人臉數(shù)據(jù)集(CMFD)、錯誤遮擋人臉數(shù)據(jù)集(IMFD)及其全局遮擋人臉檢測(MaskedFace-Net)的組合?，F(xiàn)實(shí)的遮擋人臉數(shù)據(jù)集有兩個目標(biāo)：

i)檢測他們是否有戴口罩；ii)檢測是否正確戴口罩（例如在機(jī)場入口或人群中）。

據(jù)我們所知，沒有一個大的遮擋人臉數(shù)據(jù)集為檢測是否戴口罩提供如此細(xì)粒度的分類。此外，這項(xiàng)工作在全球提出了應(yīng)用的遮擋人臉對人臉形變模型，允許生成其他遮擋人臉圖像。新提出的遮擋人臉數(shù)據(jù)集可以在https://github.com/cabani/MaskedFace-Net上找到。由NVIDIA公司在線公開提供的Flickr-Faces-HQ3 (FFHQ)數(shù)據(jù)集，已被用于生成MaskedFace-Net。

二、背景與動機(jī)

戴口罩似乎是限制covid-19傳播的一種解決方案。在這種情況下，有效的識別系統(tǒng)被期望用于檢查人在被管制的區(qū)域是否戴口罩。為了完成這項(xiàng)任務(wù)，訓(xùn)練深度學(xué)習(xí)模型需要大量的遮擋人臉數(shù)據(jù)集來檢測。從這個意義上說，在文獻(xiàn)中可以找到一些具有病毒相關(guān)遮擋的大型人臉圖像數(shù)據(jù)集；例如：MAsked FAces dataset (MAFA)【Detecting masked faces in the wild with lle-cnns. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)】，the Real-World Masked Face Dataset (RMFD)【https://github:com/X-zhangyang/Real-World-Masked-Face-Dataset】和一個遮擋人臉識別數(shù)據(jù)集【Masked face recognition dataset and application. ArXiv:2003.09093】，其由Masked Face Detection Dataset (MFDD), Real-world Masked Face Recognition Dataset (RMFRD) and Simulated Masked Face Recognition Dataset (SMFRD) 組成。

三、應(yīng)用及數(shù)據(jù)輸出

人臉圖像數(shù)據(jù)集(Flickr-Faces-HQ3 (FFHQ))被選為創(chuàng)建一個增強(qiáng)的遮擋人臉圖像。實(shí)際上，F(xiàn)FHQ包含70000張高質(zhì)量的人臉圖像，PNG文件格式為1024×1024分辨率，并公開提供。FFHQ數(shù)據(jù)集在年齡、種族、視點(diǎn)、燈光和圖像背景方面提供了許多多樣性。它最初是作為生成式對抗性網(wǎng)絡(luò)(GAN)的基準(zhǔn)而創(chuàng)建的。

全局?jǐn)?shù)據(jù)流程圖如下圖所示。

上圖顯示了用于生成“correctly/incorrectly masked face images MaskedFace-Net”數(shù)據(jù)集的圖像編輯方法的主要階段。特別是，MaskedFace-Net數(shù)據(jù)集是通過定義一個mask-toface deformable model創(chuàng)建的。

(a)：depicts the structure of the generated MaskedFace-Net dataset.

(b)：shows a pseudo-code of the mask-to-face deformable model applied for generating outputs (a) of the MaskedFace-Net dataset

對于FFHQ【3】的每一個人臉圖像(例如上圖a所示)，基于Haar特征的級聯(lián)分類器被用于檢測一個感興趣的區(qū)域（檢測人臉矩形）。然后，一個特定的關(guān)鍵點(diǎn)檢測器“預(yù)測68個關(guān)鍵點(diǎn)【4】【5】”應(yīng)用于感興趣的檢測區(qū)域，并允許自動檢測68個面部結(jié)構(gòu)的坐標(biāo)(見圖b所示的樣本)。

【3】：“dataset of face images Flickr-Faces-HQ (FFHQ)” https://github:com/NVlabs/ffhq-dataset.

【4】：“Facial point annotations” https://ibug:doc:ic:ac:uk/resources/facial-point-annotations/.

【5】：“shape predictor 68 face landmarks.dat.bz2” https://github:com/davisking/dlib-models#shape_predictor_68_face_landmarksdatbz2.

此外，還選擇了廣泛的face protection mask （single-use blue face protection mask）作為映射的參考圖像（見下圖中的示例)。對于后者，已經(jīng)手動注釋了12個關(guān)鍵點(diǎn)，用于描繪遮擋區(qū)域（多邊形區(qū)域）。

在此階段，針對目標(biāo)情況定義了四種mask-to-face映射（見下圖）即覆蓋鼻子、嘴和下巴，口罩只覆蓋鼻子和嘴，口罩只覆蓋嘴和下巴，口罩只覆蓋嘴以下。

對于每種類型的mask-to-face映射(CMFD、IMFD1、IMFD2或IMFD3)，從自動檢測到的68個位置中保留12個面部關(guān)鍵點(diǎn)的子集；然后與12個遮擋關(guān)鍵點(diǎn)匹配。通過這種方式，遮擋可以適合每個目標(biāo)病例的面部的特定區(qū)域。因此，創(chuàng)建了一個mask-to-face deformable model來生成MaskedFace-Net。此外，每個目標(biāo)情況最多可以有2個關(guān)鍵點(diǎn)（在12個關(guān)鍵點(diǎn)中），它們的位置在有限的周長內(nèi)隨機(jī)移位。因此，MaskedFace-Net也包含了各種各樣的遮擋定位。

最后，應(yīng)用了基于遮擋圖像和人臉圖像之間位置所定義的點(diǎn)對點(diǎn)對應(yīng)關(guān)系變換來映射目標(biāo)人臉區(qū)域上的口罩像素。圖中顯示每種類型的人臉位置實(shí)例和對應(yīng)的口罩映射。