基于云存儲視頻監(jiān)控系統(tǒng)的研究

摘要：視頻監(jiān)控系統(tǒng)對海量視頻數(shù)據(jù)存儲和智能視頻分析的需求日益突出。針對系統(tǒng)硬件計算能力有限，用戶需求的多樣性，系統(tǒng)擴展性復(fù)雜等問題，云存儲技術(shù)有很大突破。通過虛擬化技術(shù)構(gòu)建資源池，使用Hadoop分布式文件系統(tǒng)存儲海量視頻數(shù)據(jù)，使用Map/Reduce編程模型實現(xiàn)大數(shù)據(jù)并行計算，為用戶提供實時視頻監(jiān)控和智能視頻分析服務(wù)。

關(guān)鍵詞：云計算;云存儲;視頻監(jiān)控;Hadoop分布式文件系統(tǒng)

互聯(lián)網(wǎng)的迅猛發(fā)展，不僅改變了我們的生活方式，也顛覆了各個領(lǐng)域的經(jīng)營與管理。隨著網(wǎng)絡(luò)信息化技術(shù)的日益完善，使得視頻資源的聯(lián)網(wǎng)共享成為視頻監(jiān)控、 IPTV等大數(shù)據(jù)領(lǐng)域的迫切需求，現(xiàn)有分散的視頻資源正在朝集中化的方向發(fā)展。隨著海量視頻數(shù)據(jù)的快速增長，傳統(tǒng)的視頻監(jiān)控難以滿足在大數(shù)據(jù)計算分析、存儲及數(shù)據(jù)共享等上的需要，或者說很難以更低的成本，更靈活的擴展性，更健壯、更可靠、更安全的系統(tǒng)架構(gòu)來滿足行業(yè)需求。因此，云計算開始運用到大規(guī)模視頻監(jiān)控領(lǐng)域。

1 相關(guān)知識

“云計算”并非是一種新的計算技術(shù)，而是結(jié)合多種計算技術(shù)，以最優(yōu)性價比為目的的綜合型計算模式。通過云計算技術(shù)，將海量的資源通過網(wǎng)絡(luò)連接起來，用戶能夠共享數(shù)據(jù)、協(xié)同計算，網(wǎng)絡(luò)中的計算機、服務(wù)器共同對外提供服務(wù)，并使之透明化。

1.1 云計算

云計算是分布式計算、并行計算和網(wǎng)格汁算的發(fā)展，它將計算任務(wù)分布在大量計算機構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計算能力、存儲空間和各種軟件服務(wù)。

云計算通過虛擬化技術(shù)，將大量異構(gòu)的網(wǎng)絡(luò)服務(wù)器和不同廠家的網(wǎng)絡(luò)存儲設(shè)備構(gòu)建成統(tǒng)一的資源池，通過互聯(lián)網(wǎng)連接起來，用戶不需要了解云存儲系統(tǒng)的細節(jié)，也不必掌握

專業(yè)的云技術(shù)知識，只需要關(guān)注自己需要什么樣的資源，以及如何通過互聯(lián)網(wǎng)來獲得相應(yīng)的服務(wù)。云計算為大規(guī)視頻監(jiān)控系統(tǒng)提供超強計算的能力，靈活地為用戶提供各種服務(wù)，同時減少系統(tǒng)建設(shè)、升級及運維管理的成本，提高系統(tǒng)資源的利用率和系統(tǒng)運行的可靠性。

1. 2 云存儲

云存儲是在云計算的基礎(chǔ)上衍生和發(fā)展出來的一種技術(shù)。它通過網(wǎng)絡(luò)將各類存儲設(shè)備匯集起來，通過網(wǎng)絡(luò)集中管理，共享數(shù)據(jù)，其靈活的擴展性，可以對外提供數(shù)據(jù)存儲和業(yè)務(wù)服務(wù)以及與存儲相關(guān)的增值應(yīng)用。

云存儲系統(tǒng)以網(wǎng)絡(luò)服務(wù)器和網(wǎng)絡(luò)存儲設(shè)備為基礎(chǔ)，構(gòu)建成一個大規(guī)模的存儲集群，采用大規(guī)模分布式文件系統(tǒng)對存儲資源集中管理，可以提供上海量的存儲空間同時也可以為大量用戶提供服務(wù)，推動了大數(shù)據(jù)時代的發(fā)展。云存儲系統(tǒng)的成本遠遠低于傳統(tǒng)的存儲系統(tǒng)，并且具有良好的可擴充性和可靠性，推動著大規(guī)模視頻監(jiān)控系統(tǒng)的變革。

2 基于云存儲的監(jiān)控系統(tǒng)

目前，云存儲的實現(xiàn)并不存在技術(shù)上的障礙，它需要云設(shè)備、云軟件、云服務(wù)等有機地集合在一起，為用戶提供無障礙的云服務(wù)。將存儲設(shè)備和應(yīng)用軟件相結(jié)合，通過分布式文件系統(tǒng)架構(gòu)實現(xiàn)由存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變。

2.1 云存儲系統(tǒng)的結(jié)構(gòu)模型

與傳統(tǒng)的存儲設(shè)備相比，云存儲不再是單純的存儲設(shè)備，通過虛擬化技術(shù)，將無數(shù)分散的服務(wù)器和存儲設(shè)備通過網(wǎng)絡(luò)組織起來，統(tǒng)一管理，協(xié)同工作，通過應(yīng)用軟件對外提供存儲服務(wù)。云存儲系統(tǒng)結(jié)構(gòu)模型由物理存儲層、基礎(chǔ)管理層、應(yīng)用接口層和用戶訪問層組成，如圖1所示。

2.2 基于云存儲監(jiān)控系統(tǒng)的設(shè)計

基于云存儲的視頻監(jiān)控系統(tǒng)在邏輯上可分為前端視頻采集、云端數(shù)據(jù)管理中心、視頻業(yè)務(wù)服務(wù)和客戶端管理系統(tǒng)。如圖2所示。

前端視頻采集通過網(wǎng)絡(luò)連接到云存儲系統(tǒng)，云存儲系統(tǒng)為每一路高清IP攝像頭分配足夠的帶寬。高清IP攝像頭將采集的高清視頻流進行壓縮編碼，然后再將壓縮編碼后的視頻流封裝成能在網(wǎng)絡(luò)上傳輸?shù)腎P數(shù)據(jù)包，通過Internet上傳到云資源池中。

云端數(shù)據(jù)管理中心對云資源進行自動監(jiān)控、自動調(diào)度和集中管理等一體化運維操作，通過虛擬化存儲技術(shù)、Hadoop分布式文件系統(tǒng)、云計算等技術(shù)結(jié)合應(yīng)用程序?qū)崿F(xiàn)存儲設(shè)備內(nèi)容的分發(fā)、數(shù)據(jù)刪冗、數(shù)據(jù)壓縮、數(shù)據(jù)加密、數(shù)據(jù)備份與數(shù)據(jù)恢復(fù)等功能。

視頻業(yè)務(wù)服務(wù)運行在云端數(shù)據(jù)管理中心之上，是云資源的應(yīng)用集合，根據(jù)用戶的不同需求，提供相關(guān)的業(yè)務(wù)服務(wù)。

客戶端管理系統(tǒng)通過公用API接口訪問視頻相應(yīng)的業(yè)務(wù)服務(wù)?？蛻舳斯芾硐到y(tǒng)的每個操作對應(yīng)著一個業(yè)務(wù)請求，通過網(wǎng)絡(luò)接入、用戶認(rèn)證、權(quán)限管理等安全策略驗證后，方可訪問相應(yīng)的業(yè)務(wù)。

3 關(guān)鍵技術(shù)及實現(xiàn)

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，人們對智能安防提出了新的要求，傳統(tǒng)視頻監(jiān)控系統(tǒng)的局限性越來越突出，視頻監(jiān)控系統(tǒng)的網(wǎng)絡(luò)化、智能化以及安全越來越受到人們的關(guān)注和重視?；谠拼鎯Φ囊曨l監(jiān)控系統(tǒng)在數(shù)據(jù)存儲與安全，實時轉(zhuǎn)碼，視頻智能分析等方面具有自身獨特的技術(shù)優(yōu)勢。

3.1 數(shù)據(jù)存儲與安全

Hadoop分布式文件系統(tǒng)是現(xiàn)在主流的分布式文件系統(tǒng)之一，具有高容錯性，可以運行在低成本的計算機硬件基礎(chǔ)上。Hadoop分布式文件系統(tǒng)為讀寫數(shù)據(jù)提供了大吞吐量，可運行需要大量數(shù)據(jù)計算的應(yīng)用程序，非常適合大規(guī)模視頻監(jiān)控系統(tǒng)的應(yīng)用。

Hadoop分布式文件系統(tǒng)也采用了主從架構(gòu)，它的集群是由一個Namenode和多個Datanode組成。Namenode是一個中心服務(wù)器，其主要負(fù)責(zé)管理文件系統(tǒng)的命名空間以及客戶端對文件的訪問操作。Datanode負(fù)責(zé)管理文件塊的創(chuàng)建、存儲和刪除，并且在Namenode的統(tǒng)一調(diào)度下進行文件塊的復(fù)制操作。

Hadoop分布式文件系統(tǒng)將每個文件分成一系列固定大小的數(shù)據(jù)塊，除了最后一個，所有的數(shù)據(jù)塊大小都為64MB。為了容錯，提高系統(tǒng)的可用性，存儲在 Datanode中文件的數(shù)據(jù)塊都會有副本。一般情況下，用戶的文件有3個副本，系統(tǒng)會將第一個副本放在本地節(jié)點上，將第二個副本放到同一機架的另外一個本地節(jié)點上，而將第三個副本放到云存儲系統(tǒng)不同機架的一個節(jié)點上。當(dāng)某一節(jié)點的數(shù)據(jù)被破壞后，可以讀取其它節(jié)點的副本，提高數(shù)據(jù)的安全性，同時保證了系統(tǒng)的可靠性。