干貨 | 分段的人臉檢測(cè)在移動(dòng)段的應(yīng)用

人臉領(lǐng)域的技術(shù)一直是熱門研究話題，隨著優(yōu)秀算法和先進(jìn)芯片的進(jìn)一步成熟，各廠家集成能力的提升，人臉識(shí)別技術(shù)必將是未來人工智能社會(huì)的先驅(qū)。結(jié)合人臉技術(shù)的研究進(jìn)展，以及出入口系統(tǒng)的應(yīng)用特點(diǎn)，將會(huì)呈現(xiàn)出以下發(fā)展趨勢(shì)。

人臉領(lǐng)域的技術(shù)一直是熱門研究話題，隨著優(yōu)秀算法和先進(jìn)芯片的進(jìn)一步成熟，各廠家集成能力的提升，人臉識(shí)別技術(shù)必將是未來人工智能社會(huì)的先驅(qū)。

結(jié)合人臉技術(shù)的研究進(jìn)展，以及出入口系統(tǒng)的應(yīng)用特點(diǎn)，將會(huì)呈現(xiàn)出以下發(fā)展趨勢(shì)。

隨著芯片價(jià)格的下探，人臉識(shí)別類產(chǎn)品的價(jià)格將會(huì)下探，人臉門禁設(shè)備在整個(gè)出入口系統(tǒng)終端設(shè)備中的占比將會(huì)越來越高；

當(dāng)前人臉門禁中，還是需要人員有一定的配合度才能完成人臉識(shí)別，完全非配合的人臉識(shí)別，必然會(huì)導(dǎo)致識(shí)別準(zhǔn)確率的下降。未來隨著關(guān)鍵算法和技術(shù)方案的進(jìn)一步成熟，非配合、無感知的人臉識(shí)別門禁產(chǎn)品將會(huì)出現(xiàn)，這將會(huì)極大提升人臉門禁的使用體驗(yàn)；

當(dāng)前的人臉識(shí)別主要還是二維空間下的人臉識(shí)別，紅外+可見光的雙目人臉識(shí)別設(shè)備也僅僅是簡(jiǎn)單的融合識(shí)別方案，還遠(yuǎn)沒有達(dá)到三維立體識(shí)別的程度。未來隨著結(jié)構(gòu)光、TOF等深度傳感技術(shù)的進(jìn)一步成熟，三維人臉識(shí)別算法和技術(shù)將會(huì)出現(xiàn)，這將會(huì)極大地提升人臉識(shí)別的準(zhǔn)確性。

今天主要和大家說的是關(guān)于人臉檢測(cè)技術(shù)。說到手機(jī)，相比大家都有屬于自己的手機(jī)，那么今天我們就是說說手機(jī)移動(dòng)端上的人臉檢測(cè)技術(shù)是怎么回事？

概要

由于大量遮擋和部分可見人臉的存在，一般的人臉檢測(cè)算法在移動(dòng)手機(jī)端領(lǐng)域表現(xiàn)不佳。一種很有前途的技術(shù)去解決局具有挑戰(zhàn)性的人臉部件，尤其是基于人臉分割方法去設(shè)計(jì)人臉檢測(cè)器。

今天，討論了兩種不同的基于分割的人臉檢測(cè)方法，即基于候選的檢測(cè)和基于端到端回歸的檢測(cè)。

第一種方法依賴于生成包含人臉分割信息的人臉候選。今天主要討論了基于人臉分割的人臉檢測(cè)器(FSFD)、分割的人臉檢測(cè)器(SegFace)和深度分割的人臉檢測(cè)器(DeepSegFace)。

但是，候選生成過程需要單獨(dú)處理，這可能非常耗時(shí)，而且鑒于主動(dòng)身份驗(yàn)證問題的性質(zhì)，這并不是真正必要的。因此，提出了一種新的基于深度回歸的用戶圖像檢測(cè)器(Druid)算法，該算法從分類到回歸范式的轉(zhuǎn)換，避免了候選生成的需要。Druid具有獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)，具有自定義的損失特征，利用一種新的數(shù)據(jù)增強(qiáng)方案使用相對(duì)較少的數(shù)據(jù)進(jìn)行訓(xùn)練，并且由于它一次輸出人臉及其分段的邊框而具有較快的速度?；诿娌坎考娜四槞z測(cè)方法，特別是Druid方法，在兩組移動(dòng)人臉數(shù)據(jù)的精確召回率和ROC曲線方面均優(yōu)于其他最先進(jìn)的人臉檢測(cè)方法，對(duì)遮擋具有良好的魯棒性。

框架&優(yōu)勢(shì)

下圖，顯示一個(gè)完整的面部樣本分解成面部分割的部件，檢測(cè)到其中一個(gè)或多個(gè)可能會(huì)提供關(guān)于整個(gè)面部下落的強(qiáng)有力的線索。

如果該算法能夠有效地將不同人臉段的檢測(cè)結(jié)合到一個(gè)完整的人臉中，那么可以處理移動(dòng)設(shè)備前攝像頭捕捉到的圖像中的部分人臉。針對(duì)這一需求，下面我們也給出了基于人臉分割的人臉檢測(cè)(FSFD)、分割的人臉檢測(cè)器(SegFace)和深度分割的人臉檢測(cè)器(DeepSegFace)三種算法。這些算法利用一種快速的候選生成方案，為人臉和人臉分段提供邊界框，從而從人臉段的候選中檢測(cè)人臉。FSFD和SegFace方法采用傳統(tǒng)的特征提取技術(shù)和支持向量機(jī)(SVM)分類器，而DeepSegFace是一種基于DCNN的分類器，用于區(qū)分有無人臉的方案。

雖然提出的三種算法(FSFD、SegFace、DeepSegFace)速度快、效率高，但仍有很大的改進(jìn)空間。這些算法的一個(gè)主要瓶頸是方案生成階段，它在質(zhì)量和速度的權(quán)衡中存在以下問題：

1)慢速度：候選生成器可以生成多個(gè)方案，以保證高召回率，但由于檢測(cè)器必須對(duì)每一個(gè)候選進(jìn)行評(píng)估，這會(huì)使流水線速度變慢。例如，（R. Ranjan, V. M. Patel, and R. Chellappa, “Hyperface: A deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition,” CoRR, vol. abs/1603.01249, 2016.

[Online]. Available: http://arxiv.org/abs/1603.01249）使用選擇性搜索，每幅圖像生成大約2000份建議書，但這一過程并不是實(shí)時(shí)的。

2)召回上限：如果以較高的召回率換取速度，則可以使用較弱的候選生成器，從而產(chǎn)生較少的候選。但是，在這種情況下，檢測(cè)器受候選生成器性能的約束，無法在候選生成器不返回任何結(jié)果的圖像中檢測(cè)人臉。FSFD，SegFace和DeepSegFace使用快速的候選生成器(每個(gè)圖像大約有16個(gè)候選)，但是無法從候選的失敗中恢復(fù)。

3)特別訓(xùn)練：一種產(chǎn)生少量候選但具有較高召回率的方法是訓(xùn)練特定的候選生成器，以識(shí)別人臉和面部片段。然而，大多數(shù)現(xiàn)成的候選生成器都會(huì)檢測(cè)出通用對(duì)象，因此必須對(duì)它們進(jìn)行再訓(xùn)練，以檢測(cè)人臉。

鑒于基于候選的檢測(cè)方法的局限性，新方法就提出了一種基于回歸的端到端可訓(xùn)練人臉檢測(cè)器，用于檢測(cè)單個(gè)用戶的人臉，完全不需要任何候選生成。這種方法被稱為基于深度回歸的用戶圖像檢測(cè)器(Druid)，是一種基于CNN的深度人臉檢測(cè)器，它不僅返回人臉邊界框，而且還返回所有存在的人臉分段的邊框，以及每段在一次前向傳遞中的置信度。

Druid使用一種原則性的數(shù)據(jù)增強(qiáng)技術(shù)來對(duì)相對(duì)較少的圖像進(jìn)行訓(xùn)練，并且由于它的體系結(jié)構(gòu)和獨(dú)立于候選生成階段，它的執(zhí)行速度非?？?。此外，Druid的訓(xùn)練并不是在類似于基于候選的方法的移動(dòng)人臉數(shù)據(jù)集上進(jìn)行的，但由于其獨(dú)特的體系結(jié)構(gòu)和數(shù)據(jù)增強(qiáng)方案，它的性能明顯優(yōu)于其他方法。通過訓(xùn)練中的回歸，增強(qiáng)了人臉的抗縮放能力，并有助于尋找不同尺寸人臉的邊界框。

基于候選檢測(cè)

基于候選的方法的一般流程

FSFD

首先進(jìn)行分段聚類。然后，在svm學(xué)習(xí)階段，將每個(gè)聚類中所有人臉片段集合的第一個(gè)子集看作是候選的人臉?？紤]一下在圖像中檢測(cè)到的第k段。

人臉候選的邊框是最小的邊框，其中包含來自候選中所有面部分段的所有估計(jì)人臉。從直覺上看，在候選中，人臉片段較多且檢測(cè)精度較高，該候選成為人臉的概率就越高。此外，在實(shí)驗(yàn)上，我們發(fā)現(xiàn)某些特定的面部片段比其他的更有可能返回人臉，而一些片段提供了比其他集合更精確的邊界框，具有更大的一致性。

線性支持向量機(jī)分類器使用表示某些片段和某些組合的似然性的訓(xùn)練建議集中的下列先驗(yàn)概率值對(duì)所提出的人臉進(jìn)行訓(xùn)練。

SefFace

分段的人臉是一種基于分段候選構(gòu)建的快速淺層人臉檢測(cè)器。對(duì)于Sk中的每一段，對(duì)分類器C進(jìn)行訓(xùn)練，以便從該段接受特征f(Sk)，并生成表示人臉存在的分?jǐn)?shù)。C的輸出分?jǐn)?shù)存儲(chǔ)在m維特征向量fc中，其中fc中對(duì)應(yīng)于候選中不存在的部分的元素設(shè)置為0。

DeepSegFace

DeepSegFace是一種集成深度CNN和基于分段的人臉檢測(cè)的體系結(jié)構(gòu)。首先，為每個(gè)圖像生成由前面討論的M=9部分的子集組成的候選。然后對(duì)DeepSegFace進(jìn)行訓(xùn)練，以計(jì)算候選作為人臉的概率值。最后，重新排序調(diào)整來自網(wǎng)絡(luò)的概率值，具有最高重排序得分的候選被認(rèn)為是該圖像的檢測(cè)。DeepSegFace的結(jié)構(gòu)按照模式識(shí)別的經(jīng)典范式排列：特征提取、維數(shù)約簡(jiǎn)和分類器。該架構(gòu)的簡(jiǎn)單框圖如下圖所示。