如何通過開源API在DSP上進(jìn)行視頻處理

新的API

為了解決上述問題，德州儀器(TI)開發(fā)出了一款API，該產(chǎn)品能夠充分發(fā)揮開源多媒體框架中的GStreamer等DSP的優(yōu)勢。這款API使多媒體編程人員可以利用熟悉環(huán)境中的DSP編解碼引擎，把數(shù)字視頻編程人員從復(fù)雜的DSP編程中解放出來，讓ARM/Linux開發(fā)人員得以輕松利用DSP編解碼器的加速功能，無需具備相關(guān)硬件知識。該接口還能自動(dòng)高效地在ARM和DSP間進(jìn)行工作劃分，從而不再需要為運(yùn)行在DSP上和運(yùn)行在GPP內(nèi)核上的功能間的協(xié)調(diào)而編寫代碼。該接口已由TI按照開源社群標(biāo)準(zhǔn)以GStreamer插件的形式開發(fā)成功。

圖2：GStreamer內(nèi)數(shù)據(jù)通過GstBuffer結(jié)構(gòu)進(jìn)行表征的方法與其它幾種操作系統(tǒng)及其相應(yīng)多媒體框架所采取的方法相一致。

GStreamer是一種媒體處理庫，提供了某種轉(zhuǎn)換過程的抽象模型，其通過管道的概念進(jìn)行工作，媒體在其中按照已定義的方向從輸入流到輸出。GStreamer能夠以一種簡化編程過程的方式來提取不同媒體的操作行為，在數(shù)字視頻編程社群中廣受歡迎。通過GStreamer，能夠編寫出一種能夠支持多種不同格式和網(wǎng)絡(luò)的通用視頻或音樂播放器。而且大部分操作由插件執(zhí)行，并非GStreamer內(nèi)核。GStreamer的基本功能性主要與注冊和加載插件有關(guān)，并可提供基類，這些基類定義了GStreamer類的基本功能。

GStreamer過濾器

源過濾器負(fù)責(zé)從從數(shù)據(jù)源獲取原始的多媒體數(shù)據(jù)以供處理，這里的數(shù)據(jù)源可以是硬盤文件(比如文件源過濾器)，或CD或DVD光盤，也可以是電視接收卡或網(wǎng)絡(luò)這種“實(shí)時(shí)”源。某些源過濾器只是簡單地把原始數(shù)據(jù)傳遞到剖析器(parser)或分離過濾器(splitter filter)，同時(shí)其它源過濾器也執(zhí)行自己的剖析步驟。變換過濾器 (Transform filter)接收原始數(shù)據(jù)或部分經(jīng)過處理的數(shù)據(jù)，進(jìn)一步處理后再傳遞到下一級過濾器。

變換過濾器有多種類型，剖析器即是一例。這種過濾器把原始字節(jié)流分離為多個(gè)樣本或幀、壓縮器或解壓縮器，以及格式轉(zhuǎn)換器。呈現(xiàn)過濾器(Renderer filter)一般接收完全處理過的數(shù)據(jù)，并在系統(tǒng)顯示器上或通過揚(yáng)聲器或某些外部設(shè)備進(jìn)行播放。這一類過濾器還包括“file writer (文件創(chuàng)建器)”過濾器和網(wǎng)絡(luò)傳輸過濾器，前者可以把數(shù)據(jù)保存到硬盤或其它持久穩(wěn)固的存儲(chǔ)設(shè)備上。

數(shù)據(jù)處理在plug-in_chain() 或 plug-in_loop()函數(shù)中進(jìn)行。該函數(shù)可能像元件縮放那么簡單，也可能像真實(shí)的MP3解碼器那么復(fù)雜。數(shù)據(jù)被處理后，利用一個(gè)gst_pad_push()函數(shù)從GStreamer元件(element)的源襯墊(pad)發(fā)送出去，由此把數(shù)據(jù)傳遞到管道鏈的下一個(gè)元件。

GStreamer緩沖器

在GStreamer中，緩沖器是數(shù)據(jù)傳輸?shù)幕締卧?。GstBuffer(實(shí)例)類提供了把一個(gè)存儲(chǔ)區(qū)定義為流媒體的一部分所必需的全部狀態(tài)。經(jīng)由GstBuffer結(jié)構(gòu)，Gstreame內(nèi)部的數(shù)據(jù)表示遵循幾種其它操作系統(tǒng)及其各自的多媒體構(gòu)架所采用的方法(比如，Microsoft DirectShow中的媒體采樣概念)。此外，還支持次級緩沖器，允許緩沖器的一小部分成為它自己的緩沖器，利用這種處理機(jī)制確保了存儲(chǔ)空間不會(huì)過早釋放。

圖3：復(fù)用已分配在驅(qū)動(dòng)器上且在物理上是連續(xù)的緩沖的一種有效途徑。

緩沖器通常利用gst_buffer_new()來創(chuàng)建。創(chuàng)建好一個(gè)緩沖器之后，一般是為它分配存儲(chǔ)器，設(shè)置緩沖器數(shù)據(jù)的大小。下面給出了一個(gè)緩沖器創(chuàng)建的例子，該緩沖器能夠保存具有給定寬度、高度和每像素位的視頻幀。

緩沖器創(chuàng)建

基于DaVinci技術(shù)的DM644x器件上ARM926的MMU(存儲(chǔ)器管理單元)具有虛擬/物理尋址能力。然而，C64x+DSP內(nèi)核只能夠處理物理地址。因此，用于DSP處理的輸入和輸出緩沖器必須駐存在物理上連續(xù)的存儲(chǔ)器中。