數(shù)碼相機(jī)的圖像處理通道

現(xiàn)在的數(shù)碼機(jī)都是采用CCD(電荷耦合元件)或CMOS感光器件—這些感光器件都是將光信號轉(zhuǎn)化為電信號，但兩者的轉(zhuǎn)換方式不一樣。

圖1 CCD的結(jié)構(gòu)

在CCD器件中—有幾百萬的感光像素(Pixel)組成的陣列覆蓋在傳感器的表面。曝光后，整個CCD像素陣列上累積的電荷通過一定的時序，列隊從CCD傳感器的一個端口讀出，并通過一個專用模數(shù)轉(zhuǎn)換芯片進(jìn)行A/D轉(zhuǎn)換。CMOS則直接對每個像素的曝光量進(jìn)行A/D轉(zhuǎn)換。然而，CMOS的缺點就是感光度比CCD低，容易出現(xiàn)雜訊，這主要是因為CMOS的每一像素的結(jié)構(gòu)要比CCD復(fù)雜，CMOS的感光開口不及CCD大_并且CMOS每個像素旁都搭配一個ADC放大器，(每個放大器都是有輕微的差異)，對比單一放大器的CCD，CMOS計算出來的噪聲要比較多。但CMOS相對于CCD的優(yōu)勢在于成本低，耗電少，電路較簡單。基于上述的優(yōu)缺點，CMOS應(yīng)用在數(shù)碼相機(jī)的低端產(chǎn)品， CCD用在數(shù)碼相機(jī)的中高檔產(chǎn)品。

CMOS傳感器通常以RGB或YcbCr格式輸出像素單元的并行數(shù)據(jù)，伴隨水平和垂直同步以及一個像素時鐘，有時也可以使用外部時鐘和同步信號來控制CMOS傳感器圖像幀的輸出。

圖2 CCD像素的排列

CCD傳感器則不同，輸出為模擬信號，需要一個專用芯片(含A/D轉(zhuǎn)換器，時序發(fā)生器，垂直發(fā)生器)，例如LR38667, AD9943,它可處理模擬信號，將其A/D轉(zhuǎn)換和產(chǎn)生CCD陣列所需的適當(dāng)時序。A/D轉(zhuǎn)換器輸出為每個像素的10位或12位并行數(shù)據(jù)，也伴隨水平和垂直同步以及像素時鐘。

當(dāng)然，圖像的捕獲過程不會在傳感器結(jié)束，相反，這一過程才剛剛開始。讓我們看一下原始圖像(RAW data)在變成顯示器或其他輸出設(shè)備的精美圖像之前要經(jīng)過那些環(huán)節(jié)。在數(shù)碼相機(jī)中，這些處理環(huán)節(jié)被成為“圖像處理通道”。圖中給出了一個可能的流程。這些算法通常由專用的DSP來處理。例如ATMEL 公司的AT76C113，此DSP含自動測光，自動對焦，自動白平衡。

對焦和測光系統(tǒng)
在你按相機(jī)的按制時，相機(jī)進(jìn)行自動測光和自動對焦，自動對焦，DSP根據(jù)事先預(yù)設(shè)的區(qū)域，控制鏡頭作動，不斷運算，得出鏡頭的最清晰點，從而控制鏡頭到清晰點位置。自動_光，測量預(yù)先設(shè)定區(qū)域的亮度，通過調(diào)節(jié)快門速度或光圈大小來對曝光過度或曝光不足區(qū)域進(jìn)行補償，其主要目標(biāo)是維持圖像中不同區(qū)域之間的相對對比度，并達(dá)到要求的平均亮度。

圖像壞點補點(圖像預(yù)處理)
傳感器是高度精密的元器件，由于制造工藝等因素的影響，通常含有一些
缺陷像素，所以，一般的圖像補點處理技術(shù)通過中值濾波來消除。這種技術(shù)依賴于這樣的事實，即像素間的急劇變化是不正常，因為光學(xué)過程只能稍微使圖像變得不清楚。下圖為補償缺陷像素的方法。

白平衡(圖像預(yù)處理)
當(dāng)我們看到一幅場景時，無論光線條件如何，我們的眼睛都能將場景內(nèi)的所有事物都轉(zhuǎn)換成同樣的一套自然色彩。但圖像傳感器對顏色的“感知”很大程度上取決于光線條件，因此它需要映射其獲得的圖像，使最終輸出看起來不受光線的影響。這種圖像映射可通過手動或自動完成。如圖左為傳感器出來的原始圖片，通過對傳感器輸出的紅，綠，藍(lán)的像素數(shù)據(jù)乘以不同的倍數(shù)進(jìn)行校正，使出_的_色同人眼感覺一致。

預(yù)處理還有一個鏡頭校正(陰影或畸變)，這套算法解決了輸出圖像和與用戶看到實際場景之間偏差的鏡頭的物理屬性問題。不同的鏡頭會產(chǎn)生不同的畸變。例如：鏡頭的陰影畸變減低了鏡頭周圍區(qū)域的亮度，色差失常會使圖像周圍出現(xiàn)色彩版紋，因此DSP要對圖像進(jìn)行數(shù)學(xué)變換，以校正畸變。

去馬賽克，像素內(nèi)插，降噪以及邊緣銳化成
去馬賽克可能是圖像處理管道中最重要且運算量最大的操作。通常各個廠商都有自己的方法。但一般來說可歸納為幾類主要的算法。

雙線性插值或雙三插值等非自適應(yīng)算法屬于最簡單易行的方法，非常適合圖像的平滑區(qū)域。但用這些算法處理邊緣或紋理豐富的區(qū)域會出現(xiàn)問題，那些可根據(jù)局部圖像特點進(jìn)行調(diào)整的自適應(yīng)算法可以提供更好的處理紋理。

自適應(yīng)算法的一個例子是基于邊緣導(dǎo)向的重構(gòu)，這種算法分析像素的區(qū)域并確定在那個方向內(nèi)插。如果它在像素周圍附近找到邊緣，則順著邊緣進(jìn)行插值，而不是橫過邊緣。另一種自適應(yīng)算法是假設(shè)整個對象有一個恒定色掉，這就可以防止在個別對象中出現(xiàn)的顏色梯隊的突變。還有許多的去馬賽克方法，包括頻域分析，神經(jīng)元等。

每像素(Pixel)對應(yīng)的一個顏色(R或B，或G)轉(zhuǎn)換為每像素(Pixel)對應(yīng)3個顏色R，G，B

顏色轉(zhuǎn)換
在這一階段，內(nèi)插后的RGB圖像轉(zhuǎn)換到目標(biāo)輸出空間，為了壓縮或在LCD，TV顯示圖像，通常要進(jìn)行RGB到Y(jié)uv(YcbCr)的矩陣轉(zhuǎn)換，這往往還包括另外的伽碼校正以適應(yīng)目標(biāo)顯示。在這一階段可能還要按照標(biāo)準(zhǔn)4_2_2格式對Yuv(YcbCr)輸出進(jìn)行顏色濃度二次采樣，以減少顏色帶寬，從而不會影響視覺效果。

后處理
在這一階段，圖像在送到顯示器或存儲媒介之前通過各種濾波操作得到完善。例如：邊緣增強(qiáng)，降低噪聲以及人工顏色的消除都在此一階段完成。

顯示壓縮和存儲
一旦圖像準(zhǔn)備好用于顯示，圖像管道就會向兩個不同的分叉，在第一個分叉，處理好的圖像輸出到目標(biāo)顯示器，通常是LCD或TV。在第二個分叉圖像被送到DSP的壓縮算法，在這里先用工業(yè)標(biāo)準(zhǔn)的壓縮技術(shù)(如JPEG)進(jìn)行壓縮，然后再將圖像送到本地的一些存儲器介質(zhì)(通常是一個非易失的閃存卡，如SD卡CF卡)。