基于FFmpeg的高清視頻編輯模塊的設(shè)計方案

1 相關(guān)背景

視頻分析在體育領(lǐng)域中的應用非常廣泛，教練員和運動員可以通過控制比賽錄像分割、回放、暫停等操作，仔細研究比賽細節(jié)，并對運動員的技戰(zhàn)術(shù)特點進行分析和總結(jié)，作為第一手資料指導運動員日常訓練及比賽。隨著多媒體技術(shù)以及視頻編解碼技術(shù)的不斷發(fā)展，高清視頻作為一種可以為研究運動員技戰(zhàn)術(shù)水平提供強力支持的重要工具，越來越受到各國教練團隊的重視。

MTS 視頻格式是一種新興的高清視頻格式， 其視頻編碼通常采用H264 格式，音頻編碼采用AC-3 格式，分辨率為全高清標準1920*1080.由于MTS 視頻格式采用的H264 編碼的復雜性，決定了解碼MTS 對硬件的兼容能力的高要求，高清片源在許多現(xiàn)有的播放器上播放會出現(xiàn)停頓、失幀的現(xiàn)象，因此有必要轉(zhuǎn)化為兼容性更強的MPEG 格式。使用原來基于DrectShow 技術(shù)開發(fā)的國家擊劍隊視頻管理系統(tǒng)進行MTS 格式視頻編碼時會出現(xiàn)無法識別視頻格式的問題，并且由于DrectShow 進行視頻編碼的效率過低，導致處理高清視頻時間過長，影響了系統(tǒng)工作效率。

為解決此問題，本文在原視頻管理系統(tǒng)的基礎(chǔ)上，利用在Windows 環(huán)境下編譯FFmpeg 產(chǎn)生的二進制庫，對原有的視頻編輯模塊進行改進，實現(xiàn)了MTS 格式高清視頻源的剪切和向MPEG 格式的壓縮轉(zhuǎn)換，并利用XML Parser 組件將剪輯完成視頻的時間線信息保存到XML 文檔，實現(xiàn)高清體育視頻的編輯、儲存和管理。

2 FFmpeg 編碼

2.1 FFmpeg 簡介

FFmpeg 是一款強大的開源免費跨平臺音視頻編碼器與解碼器的集合，屬于自由軟件，采用GPL 或LGPL 許可證，支持MPEG、MTS、MPEG4 等40 多種編碼， MPEG、Matroska、OGG 等90 多種解碼，是一個集錄制、轉(zhuǎn)換、音/ 視頻編解碼功能為一體的、完整的開源解決方案。FFmpeg 的開發(fā)基于Linux 操作系統(tǒng)， 也可在大多數(shù)操作系統(tǒng)中編譯和使用， 并且編碼效率很高，因此基于以上優(yōu)點，本系統(tǒng)選擇FFmpeg 作為實現(xiàn)視頻編輯模塊的基礎(chǔ)。

2.2 FFmpeg 在Windows 環(huán)境下的編譯

FFmpeg 是一款基于Linux 系統(tǒng)的跨平臺開源項目，采用gcc編譯器，在Windows 環(huán)境下編譯FFmpeg 不能使用BCB 或VC++ 等專用編譯器，需要先下載編譯工具鏈mingw 安裝包，并配置相應的環(huán)境變量。此外還需安裝Msys 來模擬Linux 環(huán)境，并安裝yasm.

exe 的32.bit 版本(對應自己的操作系統(tǒng))來編譯FFmpeg 里面的匯編代碼。

安裝完畢之后編輯C :MinGWmsys1.0msys.bat 文件，在最后一行加入VS2010 的相對路徑，加入這行后編譯FFmpeg 時會多出windows 下調(diào)用dll 對應的lib,其中常用的有四個庫文件：libavcodec、libavformat、libavutil 和libswscale.其中l(wèi)ibavcodec 庫中存放的是用于音視頻解碼和編碼的decode/encode 模塊，libavformat 庫中存放的是用于合并/ 分離音頻和視頻流的muxer/demuxer 模塊，libavutil 庫中存放的是內(nèi)存操作等輔助性模塊。

2.3 FFmpeg 編碼的實現(xiàn)

本視頻編輯模塊主要是調(diào)用音頻/ 視頻編解碼庫libavcodec中的相應函數(shù)來實現(xiàn)格式轉(zhuǎn)換與剪切功能。在使用FFmpeg 編碼之前， 首先需要初始化libavcodec 庫，注冊所有的編解碼器以及文件格式，導入編碼器碼率、幀速率、編碼像素格式等參數(shù)，然后尋找編碼器并打開進行編碼。通過用預設(shè)的視頻參數(shù)為結(jié)構(gòu)體AVCodecContext 中的各個成員參數(shù)來賦值，實現(xiàn)編碼參數(shù)的設(shè)置。編碼的核心函數(shù)是avcodec_encode_video( )。系統(tǒng)每采集一幀的數(shù)據(jù)， 就送給avcodec_encode_video( ) 函數(shù)編碼成H.264 視 頻流。編碼過程中詳細的函數(shù)和編碼流程如圖1 所示。

3 基于FFmpeg 的視頻編輯模塊的實現(xiàn)

改進之后的高清視頻編輯模塊的結(jié)構(gòu)如圖2 所示。

FFmpeg 采用了主程序+ 核心庫的編程模式。FFmpeg 核心庫隱藏了其內(nèi)部各種函數(shù)的具體格式的實現(xiàn)， 對外提供了統(tǒng)一的調(diào)用方法。針對此設(shè)計模式的特點，本視頻編輯模塊具有以下設(shè)計特點：通過直接調(diào)用FFmpeg 核心庫中的函數(shù)來實現(xiàn)對視頻的編輯操作，同時還對libavformat 庫中的MPEG 文件格式處理部分的代碼進行了修改，使之實現(xiàn)按固定碼率的輸出。系統(tǒng)的視頻編輯界面采用非線性布局，操作時間軸上需要記錄的信息有視頻剪輯的入點時間和出點時間( 精確到秒)， 每次在進行視頻文件處理時，中間層會首先判斷用戶是否時間線有改動，若有改動則執(zhí)行剪切部分代碼，將時間軸上的入點信息和出點信息作為調(diào)用核心庫函數(shù)的參數(shù)導入結(jié)構(gòu)體AVCodecContext.系統(tǒng)調(diào)用avcodec_encode_video() 等相關(guān)函數(shù)對視頻進行編碼，若用戶勾選了需要格式轉(zhuǎn)換則轉(zhuǎn)換為MPEG 格式，否則按原格式輸出。轉(zhuǎn)換完成之后還需將生成的新文件的句柄替換到有關(guān)的數(shù)據(jù)結(jié)構(gòu)之中，最后再將編輯的詳細信息通過XML Parser 組件生成XML 文檔。具體過程如圖3所示。

4 高清視頻分析系統(tǒng)

加入高清視頻編輯模塊之后的國家擊劍隊視頻分析系統(tǒng)如圖4 所示。

本文使用了擊劍隊標準高清測試視頻中的一段長4 分05秒的片段對視頻編輯模塊進行了測試，該片源的圖像分辨率為1920*1080,碼率為12414kbps, 幀率25 幀/ 秒，源文件大小為363MB,使用本系統(tǒng)截取了一段2 分鐘的視頻進行格式轉(zhuǎn)換，編碼系統(tǒng)正確識別了源文件，并輸出了一個138MB 的MPEG 文件。播放器上實際的播放效果表明，改視頻編輯模塊能正確的將高清MTS格式源文件按用戶要求剪切并壓縮轉(zhuǎn)換為可流暢播放的MPEG 格式，基本符合了設(shè)計要求。

5 結(jié)束

本文詳細闡述了基于FFmpeg 的高清視頻編輯模塊的設(shè)計和實現(xiàn)，在分析了原有基于DrectShow 技術(shù)開發(fā)的編輯模塊存在的不足的基礎(chǔ)上，分析和提出了基于FFMpeg 的改進方案，并介紹了該方案的具體實現(xiàn)，該解決方案在保持了FFmpeg 高效的編碼速率、較好的編碼質(zhì)量的同時，做到了與原有系統(tǒng)其他模塊的兼容，剪輯出來的視頻符合國家擊劍隊訓練使用的各項要求。