AI技術(shù) | 過(guò)年黑夜中也可以準(zhǔn)確檢測(cè)識(shí)別（附論文下載）

在弱光圖像中進(jìn)行人臉檢測(cè)具有挑戰(zhàn)性，因?yàn)檎掌瑪?shù)量有限，而且不可避免地會(huì)有噪聲，而這些噪聲往往在空間上分布不均勻，使得這項(xiàng)任務(wù)更加困難。

一、簡(jiǎn)要

在弱光圖像中進(jìn)行人臉檢測(cè)具有挑戰(zhàn)性，因?yàn)檎掌瑪?shù)量有限，而且不可避免地會(huì)有噪聲，而這些噪聲往往在空間上分布不均勻，使得這項(xiàng)任務(wù)更加困難。一個(gè)自然的解決方案是借用多重曝光的想法，即在具有挑戰(zhàn)性的條件下捕捉多個(gè)鏡頭以獲得良好曝光的圖像。然而，對(duì)單一圖像進(jìn)行高質(zhì)量的多重曝光的實(shí)現(xiàn)/近似是很重要的。

幸運(yùn)的是，如今天分享的所示，由于現(xiàn)在的任務(wù)是人臉檢測(cè)而不是圖像增強(qiáng)，因此也不需要如此高質(zhì)量。具體來(lái)說(shuō)，有研究者提出了一種新的經(jīng)常性曝光生成（Recurrent Exposure Generation，REG）模塊，并將其與多重曝光檢測(cè)（MED）模塊無(wú)縫耦合，從而通過(guò)有效地抑制不均勻的照明和噪聲問(wèn)題來(lái)顯著提高人臉檢測(cè)性能。REG逐步有效地生成與各種曝光設(shè)置相對(duì)應(yīng)的中間圖像，然后由MED融合這些偽曝光，以檢測(cè)不同照明條件下的人臉。所提出的方法名為REGDet，是第一個(gè)用于弱光人臉檢測(cè)的“增強(qiáng)檢測(cè)”框架。它不僅鼓勵(lì)在不同照明水平上進(jìn)行豐富的交互作用和特征融合，而且還使REG組件的有效端到端學(xué)習(xí)更適合于人臉檢測(cè)。

此外，正如發(fā)布的實(shí)驗(yàn)清楚顯示的那樣，REG可以靈活地與不同的面部檢測(cè)器耦合，而無(wú)需對(duì)額外的低/正常光圖像進(jìn)行訓(xùn)練。研究者在DARK FACE微光面部基準(zhǔn)測(cè)試中通過(guò)徹底的消融測(cè)試對(duì)REGDet進(jìn)行了測(cè)試，其中REGDet僅以微不足道的額外參數(shù)就大大超過(guò)了現(xiàn)有技術(shù)水平。

二、背景

作為許多人臉相關(guān)系統(tǒng)的基石，人臉檢測(cè)一直吸引著長(zhǎng)期的研究關(guān)注。

它在以人為中心的重識(shí)別，人工分析中有廣泛的應(yīng)用。盡管近十年取得了巨大的進(jìn)展，但人臉檢測(cè)仍然具有挑戰(zhàn)性，尤其是在惡劣光照條件下的圖像。在弱光條件下捕獲的圖像通常會(huì)使其亮度降低，強(qiáng)度對(duì)比度被壓縮，從而混淆了特征提取，損害了人臉檢測(cè)的性能。光照差也會(huì)引起惱人的噪音，進(jìn)一步破壞人臉檢測(cè)的結(jié)構(gòu)信息。更糟糕的是，一張圖像中的照明狀態(tài)可能在空間上變化很大。為了對(duì)不利光照條件下的人臉檢測(cè)算法進(jìn)行系統(tǒng)評(píng)估，最近構(gòu)建了一個(gè)具有挑戰(zhàn)性的基準(zhǔn)-DARK FACE，它顯示了最先進(jìn)的人臉檢測(cè)器有明顯的性能下降。例如，DSFD產(chǎn)生的mAP為15.3%，與流行的WIDER FACE基準(zhǔn)測(cè)試的90%以上形成鮮明對(duì)比。DARK FACE數(shù)據(jù)集上的人臉探測(cè)器的顯著性能退化清楚地表明，在弱光條件下檢測(cè)人臉仍然極具挑戰(zhàn)性，這是本此分享的主要重點(diǎn)。

可以通過(guò)下圖簡(jiǎn)單了解下檢測(cè)的效果對(duì)比：

然而如上圖所示（b-c），還有一個(gè)很大的改進(jìn)空間。由于一個(gè)原因，圖像增強(qiáng)的目的是提高整個(gè)圖像的視覺(jué)/感知質(zhì)量，而這與人臉檢測(cè)的目標(biāo)并不完全一致。例如，增強(qiáng)有噪聲圖像的平滑操作可能會(huì)破壞對(duì)檢測(cè)至關(guān)重要的特征可識(shí)別性。這表明增強(qiáng)和檢測(cè)組件之間的緊密集成，并指出了端到端“增強(qiáng)檢測(cè)”解決方案。

Low-Light Face Detection

弱光人臉檢測(cè)一直吸引著長(zhǎng)期的研究。在手工制作特征的時(shí)代，人們一直在努力理解和解決非均勻照明的問(wèn)題。近年來(lái)，人們對(duì)低分辨率圖像、低光圖像、弱光圖像等低質(zhì)量圖像的數(shù)據(jù)驅(qū)動(dòng)人臉檢測(cè)的方法越來(lái)越感興趣。光照變化是現(xiàn)代人臉檢測(cè)算法的一個(gè)主要挑戰(zhàn)。開(kāi)創(chuàng)性的方法是通過(guò)強(qiáng)度映射來(lái)預(yù)處理圖像，如對(duì)數(shù)變換和伽馬變換。光度歸一化是另一種常用的方法，它可以在手工制作的特征和基于深度學(xué)習(xí)的方法中抵消不同的光照條件。手工制作的基本特征的方法從圖像差異或梯度等各種先驗(yàn)得到光照不變性，而基于深度學(xué)習(xí)的方法使用隨機(jī)光度作為增強(qiáng)，以隱式地增強(qiáng)光照不變性。

盡管之前有研究，在極其惡劣的光條件下的人臉檢測(cè)已經(jīng)被探索中，部分原因是缺乏高質(zhì)量的標(biāo)簽數(shù)據(jù)。針對(duì)這個(gè)問(wèn)題，有研究者提出了一個(gè)大型的人工標(biāo)記的低光人臉檢測(cè)數(shù)據(jù)集——DARK FACE，并表明現(xiàn)有的人臉探測(cè)器在任務(wù)上表現(xiàn)很差。因此，今天分享的工作是在基準(zhǔn)上的激勵(lì)和評(píng)估，并明顯優(yōu)于以前的藝術(shù)?；€實(shí)驗(yàn)表明，盡管現(xiàn)在取得了顯著的成功，但即使只是使用現(xiàn)有的低光增強(qiáng)方法預(yù)處理圖像，即使是訓(xùn)練良好的人臉檢測(cè)器也不太理想。

三、新框架及分析

Recurrent Exposure Generation Module

所提出的REG模塊利用歷史生成的圖像來(lái)維護(hù)遞歸神經(jīng)網(wǎng)絡(luò)(RNN)框架中的關(guān)鍵區(qū)域細(xì)節(jié)。從I和初始隱藏狀態(tài)H=0開(kāi)始，REG遞歸生成遞歸的T中間偽曝光I，表述為：

其中，F(xiàn)θ和Gω分別表示該模塊的編碼器和****，并具有對(duì)應(yīng)的參數(shù)θ和ω。由四個(gè)級(jí)聯(lián)卷積遞歸層組成的編碼器負(fù)責(zé)將輸入圖像轉(zhuǎn)換為多個(gè)尺度（層）的特征圖，而由兩個(gè)卷積層組成的****學(xué)習(xí)將特征映射解碼回圖像，如上圖所示。

第l層中的REGUFL可用以下方程式來(lái)描述：

Pseudo-Supervised Pre-Training of the REG Module

研究者采用了[Z. Ying, G. Li, and W. Gao. A Bio-Inspired Multi-Exposure Fusion Framework for Low-light Image Enhancement. arXiv:1711.00591 [cs]]中提出的相機(jī)響應(yīng)模型，該模型可以描述在沒(méi)有相機(jī)信息可用時(shí)像素值和曝光比之間的一般關(guān)系。它的BTF是貝伽瑪修正的形式：

作為一個(gè)端到端系統(tǒng)，REGDet允許在學(xué)習(xí)期間聯(lián)合優(yōu)化REG和MED模塊。直觀地說(shuō)，MED提供了面部位置信息來(lái)引導(dǎo)REG，以便面部區(qū)域可以被特別地增強(qiáng)來(lái)進(jìn)行檢測(cè)。下圖的最右欄顯示了一個(gè)示例檢測(cè)結(jié)果。結(jié)果表明，REGDet成功地定位了更多的中間圖像，而不是簡(jiǎn)單地應(yīng)用基礎(chǔ)檢測(cè)器定位更多的人臉。

值得注意的是，MED在選擇基礎(chǔ)探測(cè)器方面很靈活。在實(shí)驗(yàn)中，一些最先進(jìn)的算法，如DSFD、PyramidBox和S3FD，在嵌入REGDet時(shí)都顯示了明顯的性能改進(jìn)。

四、實(shí)驗(yàn)及可視化

Alternative pseudo-exposure generation modules

Results of a4blation study on the proposed REG module