基于T-DMB的手機電視開發(fā)要點

　　軟件的主要任務是TS流的解復用、H.264和AAC+的解碼，采用微軟的Direct Show技術開發(fā)，可以降低開發(fā)難度和開發(fā)周期。Direct Show技術是微軟提供的Windows平臺多媒體開發(fā)包，以COM為基礎。Direct Show使用Filter Graph的模型來管理整個數(shù)據(jù)流的處理過程。參與處理的各個功能模塊叫Filter，按功能分3類:Source、Transform、Rendering Filter 。Source Filter主要負責獲取數(shù)據(jù)和前期的處理;Transform Filter負責數(shù)據(jù)格式的轉(zhuǎn)換和傳輸，主要是負責解碼;Render Filter負責顯示。各個Filter和應用程序的交互靠事件通知機制來完成：Filter狀態(tài)改變時發(fā)出一個事件，由Filter Graph Manager處理或發(fā)給應用程序。整個軟件可以分為5大功能模塊，如圖3所示。TS解復用器模塊屬于Source Filter，作用是從DMA緩沖中獲取數(shù)據(jù)，然后從TS流中解析PAT(Program Association Table)和PMT(Program Map Table)，得到相關節(jié)目的音頻和視頻數(shù)據(jù)TS包的PID(Packet Identifier)之后，就可以組合PES(Packetized Elementary Stream)包，同時還可以得到和音視頻同步相關的參數(shù)：PCR(Program Clock Reference)、CTS(Presentation Time Stamp)、DTS(Decoding Time Stamp)，最后把PES包去包頭后的ES(Elementary Stream)數(shù)據(jù)發(fā)給下游的解碼Filter。H.264和AAC+解碼模塊屬于Transform Filter，主要功能是把從上游獲取的音頻和視頻數(shù)據(jù)進行解碼，把解碼得到的PU(Presentation Unit)重新排序(只有用到雙向預測時需排序)，送給下游的生成器。視頻生成器和音頻生成器模塊屬于Rendering Filter，主要完成顯示功能。如果數(shù)據(jù)格式需要轉(zhuǎn)換，可以在解碼器和生成器之間加一個具有轉(zhuǎn)化功能的Transform Filter。

　　音頻和視頻的同步

　　軟件設計中的關鍵技術是解決音視頻同步的問題。音視頻同步主要在 TS解復用器中解決。要想做到音頻和視頻的同步，需要用到這幾個參數(shù)：PCR、DTS、PTS。可以在TS包的調(diào)整域中得到PCR,從PES包中得到PTS。PES包中的數(shù)據(jù)是SL包，可以從SL包頭中得到DTS。DTS是解碼時間，PTS是顯示時間。PCR是對編碼器90K時鐘的計數(shù)，它的作用是在解碼器切換節(jié)目時，提供對解碼器PCR計數(shù)器的初始值。PTS、DTS最大可能和PCR達到相同的時間起點，即對解碼器提供一個公共的時鐘參考，以便準確地進行音視頻的同步。PCR捕捉到和DTS數(shù)值相同的時刻，就可以進行音視頻解碼。因為視頻編碼的時候用到了雙向預測，一個圖像單元被解出后并非馬上顯示，可能在存儲器中留一段時間，作為其余圖像單元的解碼參考，在被參考完畢后才顯示。由于聲音沒有用到雙向預測，它的解碼次序就是它的顯示次序，故對它MPEG只提出PTS的概念，PTS就是音頻的DTS值。即：

　　DTS=PTS (1)

　　如果得不到PTS，那么按下式計算：

　　PTS=PTS_pre +Xms (2)

　　其中，PTS_pre表示前面一個AU的PTS，X是ACC+一幀的時間間隔，以ms為單位。

　　一般視頻對象分為I-VOP、B-VOP、P-VOP三種編碼類型。假設在解碼器端的VO(Video Object)輸入次序為：

　　1 2 3 4 5 6 7 8 9 10………

　　I B B P B B P B B P B B P B B I B B P........

　　由于視頻對象編碼時用到雙向預測，解碼器的實際解碼次序為：

　　I P B B P B B P B B P B B I B B P B B ........

　　顯示次序同解碼器的輸入次序。假設知道I幀的PTS和DTS。那么得到關于P幀：

　　PTS_P4=PTS_I +33.67ms * 3 (3)

　　DTS_P4=DTS_I +33.67ms (4)

　　B1幀：PTS_Bn=PTS_I +33.67ms * 2 (5)

　　DTS_Bn=DTS_I +33.67ms (6)

　　B2幀可以參考上面的兩個式子。其中，33.67ms為視頻幀時間間隔。

　　軟件開發(fā)注意事項

　　關于H.264的解碼效率問題。軟件解碼部分采用開源工程ffmpeg中的H.264解碼器，它效率高，方便移植，其中，關鍵運算，如IDCT、運動補償?shù)冗€在幾種不同平臺上用匯編進行實現(xiàn)。把H.264解碼器移植到ARM平臺，對于IDCT和運動補償匯編代碼，只需仿照其它平臺的代碼就可實現(xiàn)，其開發(fā)難度并不大。音頻解碼部分可以參考FAAC和FAAD開源工程。

　　結(jié)語

　　本文討論的是能夠接收符合T-DMB規(guī)范(各種標準的接收終端的差別很小)手機電視信號的嵌入式手持設備的軟硬件設計概述，這種設備使用戶可以不經(jīng)過移動通信網(wǎng)絡直接獲得數(shù)字電視信號，能夠滿足人們隨時隨地對信息的需求。在實際的開發(fā)過程中的主要硬件問題是電磁兼容，軟件是音視頻的同步和H.264的解碼效率問題。軟件開發(fā)的難點集中在MPEG-2的解復用和Direct Show應用框架的設計。