便攜式設(shè)計中圖像采集與處理系統(tǒng)的挑戰(zhàn)與解決方案

晶圓規(guī)模的制造技術(shù)的發(fā)明使得以非常低廉的成本生產(chǎn)及其緊湊的相機(jī)模塊成為可能。處于物理上的原因，很小的相機(jī)模塊其性能要劣于大一些的相機(jī)模塊，但小相機(jī)模塊產(chǎn)生的缺陷可以通過新式的采用晶圓規(guī)模制造的鏡頭結(jié)構(gòu)來糾正。然而，這只能用來保持現(xiàn)狀，無法提升圖像質(zhì)量也無法增強用戶的體驗。

當(dāng)前，高分辨率拍照手機(jī)的設(shè)計師們已經(jīng)可以僅突出像素數(shù)量來向消費者推銷其產(chǎn)品。隨著拍照手機(jī)的廣泛應(yīng)用（已經(jīng)超過80%的手機(jī)安置了至少一個攝像頭），消費者們已經(jīng)意識到圖像的質(zhì)量和其像素數(shù)不存在必然的聯(lián)系。事實上，從火星車上傳回的令人驚嘆的圖片是通過僅為1M像素的相機(jī)拍攝的。同樣，專業(yè)級相機(jī)的設(shè)計師們已經(jīng)很早就知道，為了獲取一個更高質(zhì)量的數(shù)碼圖片，就需要光學(xué)和軟件的密切配合。

如在本文的第一部分討論的那樣，客戶的需求提高了新式拍照手機(jī)的圖像質(zhì)量以及一系列嵌入式功能。其中最讓人期待的是光學(xué)變焦、調(diào)焦以及低光學(xué)靈敏度，例如沒有閃光的拍照。所有這些功能都是實現(xiàn)起來相對簡單的，前提是允許增加高度和成本，尤其是變焦的范圍。傳統(tǒng)的變焦需要兩個鏡頭來在相機(jī)內(nèi)的光軸上做相對運動。這可以通過微型驅(qū)動器來完成，但最終的產(chǎn)品會體積大、功耗大、反應(yīng)速度慢，并且不符合便攜式電子設(shè)備的惡劣環(huán)境下的完整無損，尤其是“跌落試驗”。因此，相機(jī)模型的設(shè)計師們?nèi)绾文芴峁┧械南M者所需的功能，提高圖片質(zhì)量，同時不影響產(chǎn)品的外觀、可靠性以及最重要的成本？答案就是軟件增強光學(xué)。

軟件增強光學(xué)

軟件增強光學(xué)，或稱之為“智能光學(xué)”，是一種對已知光學(xué)效應(yīng)進(jìn)行圖像處理的糾正技術(shù)。光學(xué)效應(yīng)可以是必須予以糾正的內(nèi)在缺陷，或有意引入一種能提供某功能或特定效果的人為修正。如果目標(biāo)僅僅是提高圖像的質(zhì)量，那么可以不用投資購買高質(zhì)量、高精度的光學(xué)設(shè)備，可以通過軟件就可以糾正由低廉光學(xué)鏡頭倉引來的已知畸變。例如，如果尺寸以及成本受限，就意味著圖片的角落總是存在相同程度的模糊不清，軟件增強光學(xué)可以應(yīng)用邊緣銳化算法來修正這些角落區(qū)域。然后，用戶就會對這樣的圖片感到滿意，因為這些相機(jī)模塊內(nèi)部固有的缺陷可以修正或被掩蓋，而呈現(xiàn)出的圖片在所有部門都很好。為了進(jìn)一步高效，這種修正可以完全做到對用戶透明，即無需用戶干涉。

有了這種軟件增強光學(xué)的概念，新的機(jī)會處處逢生。這些基本的方法是使用專業(yè)鏡頭，在光線進(jìn)入相機(jī)時對這些光線進(jìn)行操作，按照所需的功能來將這些光線在分布在成像器上。受操作的圖片沒有直接使用，它需要軟件進(jìn)一步修正。然而，因為圖像按照已知的方式被操作，在數(shù)字上是可以被恢復(fù)的，從而高質(zhì)量的輸出被提出出來。通過這種辦法便可實現(xiàn)很多功能，包括無運動部件的全光學(xué)變焦、延長景深以及低能見度環(huán)境下的小F值光學(xué)性能。

用于光學(xué)變焦的軟件增強光學(xué)解決方案利用了這種現(xiàn)象，即在常規(guī)光學(xué)鏡頭倉中，信息的密度在視野范圍內(nèi)是不一致的。中心區(qū)域包含了更多的數(shù)據(jù)，而邊緣相反。然而一個圖像傳感器有一個規(guī)則的、二維的像素陣列。這意味著取景時，成像器的中心是正常采樣，而邊緣是過采樣。軟件增強光學(xué)解決方案利用了特定設(shè)計的像素鏡頭，從而提供了視野內(nèi)非均勻分布的光學(xué)感應(yīng)性能，從而與固態(tài)成像器的量化格式相吻合。在效果上，這與自然界所采取的傳統(tǒng)方法相反。很多帶有單孔徑眼睛的動物，尤其是鳥類，有一個標(biāo)準(zhǔn)的“鏡頭”，但在視網(wǎng)膜上的導(dǎo)管和圓錐細(xì)胞是非均勻分布的。在這兩種情況中，都會導(dǎo)致圖像失真，但都可以得到糾正，因為鏡頭的設(shè)計以及成像器（或者視網(wǎng)膜）的像素分布都是已知的。

為了能以一樣的放大倍數(shù)查看，算法必須壓縮視野中央?yún)^(qū)域的細(xì)節(jié)，因為在這個區(qū)域中專業(yè)鏡頭增加了放大倍數(shù)和分辨率。因此，壓縮不會降低圖像的質(zhì)量，而實際上，軟件增強鏡頭解決方案在這樣的設(shè)計中，可以使得圖像質(zhì)量與傳統(tǒng)的相機(jī)產(chǎn)生的一樣。當(dāng)圖像進(jìn)行縮放時，圖像的邊框會出現(xiàn)，而已經(jīng)放大的中央?yún)^(qū)域會被保留。隨后，圖像會被糾正失真。這是與數(shù)字變焦最大的不同，因為變焦是鏡頭運動的結(jié)果，并在圖像采集時已經(jīng)固定下來，因此變焦后的圖像保留了其原始的較高的分辨率。軟件增強光學(xué)可以實現(xiàn)3倍的變焦。

圖是一個使用軟件增強光學(xué)來提供變焦功能的例子。在這個方案中，沒有可運動的部件，即是物理上的緊湊型、堅固耐用、瞬間可視、耗電量很小的、進(jìn)而成本很低。這明顯好于數(shù)字變焦。數(shù)字變焦涉及到了圖像的修剪和擴(kuò)展來填補視野，這自然會降低分辨率，因為可用的信息將分散在更大的區(qū)域上。在一個3倍的數(shù)字變焦中，幾乎90%的質(zhì)量信息會在圖像采集時丟失，這也是為什么數(shù)字變焦只提供了很小倍數(shù)的放大功能。用于變焦的圖像增強解決方案可以通過固定鏡頭和一個簡單的算法來實現(xiàn)。這使得這種方案對所有成像器技術(shù)以及所有分辨率（從QCIF到》10M像素）都適應(yīng)，所以預(yù)計將在短期內(nèi)廣泛應(yīng)用于拍照手機(jī)中。

圖。 使用OptiMLTM變焦軟件增強光學(xué)解決方案實現(xiàn)的光學(xué)變焦（僅顯示視野的中央?yún)^(qū)域）（左圖）進(jìn)行失真糾正前的圖像（中圖）經(jīng)過1倍光學(xué)變焦放大的失真糾正后的圖像（右圖）經(jīng)過2倍光學(xué)變焦放大的失真糾正后的圖像。來源：Tessera公司

通過拍照手機(jī)得到的圖片往往是出于“一時興起”的事情。消費者不希望場景是安排好的，并且將沒有時間或感到麻煩來將相機(jī)和他們本人置于距目標(biāo)最合適的地方。借助于這些小型光學(xué)器件，一個傳統(tǒng)的相機(jī)模塊只需在一定的距離內(nèi)聚焦目標(biāo)，典型的是60厘米到數(shù)十米。由于未能了解和遵守這個限制，消費者往往對他們自己成像后的圖片無法感到滿意。針對這個問題的圖像增強解決方案是“擴(kuò)展景深”。這導(dǎo)致了場景的所有細(xì)節(jié)將會被定焦，只要這些細(xì)節(jié)在距相機(jī)模塊10厘米到無窮遠(yuǎn)的范圍內(nèi)。類似于軟件增強鏡頭變焦方案，這可以通過專業(yè)鏡頭提供的光學(xué)放大和一個簡單算法的合并得到。它不涉及任何運動部件，因此是堅固的、可靠的、瞬時的并低功耗的。