屏下前攝效果不佳？微軟利用神經(jīng)網(wǎng)絡(luò)找到新解決方案

在推進(jìn)全面屏進(jìn)程中，打孔前攝已經(jīng)是較為成熟的商用解決方案，不過即將會(huì)被屏下前攝所取代。 屏下前攝是指攝像頭位于透明的 OLED 面板下方，在不活動(dòng)的時(shí)候這個(gè)屏幕仍然可以作為一個(gè)正常的顯示屏工作，在拍攝的時(shí)候能夠讓光線透過到達(dá)前攝傳感器。

屏下前攝存在非常多的優(yōu)勢，但現(xiàn)有技術(shù)尚不足以使其商業(yè)化，其中一個(gè)尚未解決的問題就是由于屏幕像素結(jié)構(gòu)的衍射，會(huì)模糊圖像，降低對比度，降低可用的光照度，甚至完全遮擋一些圖像內(nèi)容。

幸運(yùn)的是，這種影響是以可預(yù)測的方式發(fā)生的，而且由于像素結(jié)構(gòu)決定了一般只在水平方向上發(fā)生。為此 微軟 的研究部門經(jīng)過不懈的研究努力，終于找到了補(bǔ)償 T- OLED 屏幕拍攝時(shí)圖像模糊的影響。

研究人員使用了一種 U-Net 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，既提高了信噪比，又消除了圖像的模糊。該團(tuán)隊(duì)能夠?qū)崿F(xiàn)恢復(fù)的圖像與直接拍攝的圖像幾乎沒有區(qū)別。以下是處理效果前后對比

直接用相機(jī)拍攝的效果

在 T-OLED 屏幕下方拍攝的效果

使用人工智能算法矯正的效果

讓人工智能參與到圖片捕捉中，還可以使用其他有趣的技術(shù)，比如模糊或替換背景以及其他視頻操作技術(shù)，從而實(shí)現(xiàn)更好更自然的視頻通話。微軟似乎正在開發(fā)這項(xiàng)工作主要是為了在視頻會(huì)議設(shè)置中的大屏幕中使用，但我相信它同樣適用于你的下一款旗艦智能手機(jī) 。