關(guān)于高清視頻監(jiān)控存儲技術(shù)方案的分析

在視頻監(jiān)控向數(shù)字化、網(wǎng)絡(luò)化、集成化監(jiān)控體系發(fā)展過程中，“高清”技術(shù)日漸成為眾多監(jiān)控系統(tǒng)的重點應(yīng)用趨勢。高清帶來更為清晰、直觀的視覺體驗，08年奧運會、09年國慶閱兵和上海世博會中高清監(jiān)控均得到非常成功的應(yīng)用，切實加強了對重點區(qū)域的安全防范。

高清視頻監(jiān)控應(yīng)用背景

高清監(jiān)控系統(tǒng)碼率大(4Mbps-20Mbps)、綜合性強、數(shù)據(jù)量巨大，對存儲系統(tǒng)的要求很高，主要體現(xiàn)在以下幾方面：

·性能較高的并發(fā)讀寫能力;

·高效合理的空間管理能力;

·海量數(shù)據(jù)的快速檢索能力;

·穩(wěn)定可靠的數(shù)據(jù)保存能力;

·靈活快速的空間擴展能力。

本文將重點介紹?？低曖槍Ω咔灞O(jiān)控的兩種典型存儲方案--監(jiān)控CVR存儲和監(jiān)控云存儲，此兩種方案均采用了針對監(jiān)控的優(yōu)化措施和針對海量數(shù)據(jù)的存儲管理技術(shù)，在高清應(yīng)用中表現(xiàn)突出。

高清監(jiān)控存儲方案介紹

CVR存儲方案

CVR存儲方案以存儲系統(tǒng)作為數(shù)據(jù)的管理和存儲核心環(huán)節(jié)，減少了存儲服務(wù)器環(huán)節(jié)，前端監(jiān)控數(shù)據(jù)流直接寫入存儲系統(tǒng)中，平臺和客戶端直接從存儲系統(tǒng)中讀取和調(diào)用視頻數(shù)據(jù)，所有的傳輸協(xié)議均采用針對視頻的流媒體傳輸協(xié)議。系統(tǒng)架構(gòu)參見圖1。

該方案在架構(gòu)上可以省略存儲服務(wù)器，消除其固有的性能瓶頸和單點故障隱患。基于流媒體的數(shù)據(jù)傳輸和數(shù)據(jù)管理結(jié)構(gòu)，幾乎可以完全消除傳統(tǒng)文件系統(tǒng)下覆蓋讀寫帶來了的文件碎片問題，大幅提高存儲系統(tǒng)的寫入和檢索速度;同時也將徹底消除傳統(tǒng)文件系統(tǒng)由于供電和網(wǎng)絡(luò)的不穩(wěn)定引起的文件系統(tǒng)損壞、數(shù)據(jù)只讀等問題。

監(jiān)控云存儲方案

該監(jiān)控云存儲解決方案，分為應(yīng)用層、云存儲接口層和云存儲層，前端所有應(yīng)用只要通過統(tǒng)一的云存儲接口接入云存儲系統(tǒng)即可接受存儲服務(wù)。方案具有如下特點：

·采用先進(jìn)架構(gòu)，統(tǒng)一的云存儲服務(wù)接口，存儲對用戶透明，應(yīng)用步驟簡化;

·云存儲管理服務(wù)器支持集群化，無核心節(jié)點;

·云存儲根據(jù)各節(jié)點壓力和空間情況自動調(diào)節(jié)負(fù)載，實現(xiàn)智能負(fù)載均衡;

·部分存儲節(jié)點發(fā)生故障時，該節(jié)點的負(fù)載可透明轉(zhuǎn)移到其它節(jié)點，保證服務(wù)持續(xù)，實現(xiàn)故障對應(yīng)用層透明;

·通過增加相應(yīng)節(jié)點即可實現(xiàn)云存儲的容量和性能擴展，且對上層應(yīng)用透明;

·采用了眾多針對視頻應(yīng)用的流媒體文件系統(tǒng)、緩存優(yōu)化、數(shù)據(jù)保護(hù)機制等技術(shù)，提供近乎100%的服務(wù)保證。

高清視頻存儲技術(shù)

高性能流存儲技術(shù)

該存儲系統(tǒng)從系統(tǒng)架構(gòu)、文件結(jié)構(gòu)、高速緩存等方面入手，針對監(jiān)控應(yīng)用進(jìn)行了優(yōu)化設(shè)計，推出高性能流存儲系統(tǒng)。數(shù)據(jù)傳輸均采用數(shù)據(jù)流方式，底層采用突破傳統(tǒng)文件系統(tǒng)限制的流媒體數(shù)據(jù)結(jié)構(gòu)，大幅提高了系統(tǒng)性能。

緩存算法順序化技術(shù)

監(jiān)控應(yīng)用是一種大碼流多并發(fā)寫為主的存儲應(yīng)用，對性能、并發(fā)性和穩(wěn)定性等方面有很高的要求。該存儲系統(tǒng)采用獨特的大緩存順序化算法，把多路隨機并發(fā)訪問變?yōu)轫樞蛟L問，解決了硬盤磁頭因頻繁尋道而導(dǎo)致的性能迅速下降和硬盤壽命縮短的問題。

高效合理的空間管理技術(shù)

集群管理技術(shù)

高清監(jiān)控中會產(chǎn)生PB級海量監(jiān)控數(shù)據(jù)，存儲設(shè)備的數(shù)量達(dá)數(shù)十臺上百臺，因此管理方式的科學(xué)高效顯得十分重要。其提供基于集群管理技術(shù)的多設(shè)備集中管理工具，具有設(shè)備集中監(jiān)控、集群管理、系統(tǒng)軟硬件運行狀態(tài)的監(jiān)控、主動報警，圖像化系統(tǒng)檢測等功能。

針對大規(guī)模監(jiān)控系統(tǒng)提供多設(shè)備集群存儲服務(wù)，流媒體應(yīng)用下可以提供EB級海量卷尋址。64位命令尋址，8TB為單位的數(shù)據(jù)卷，可以多數(shù)據(jù)卷為同一組錄像提供空間，總的空間大小為264X8TB。

快速的檢索回放技術(shù)

海量數(shù)據(jù)快速數(shù)據(jù)定位技術(shù)

在高清監(jiān)控應(yīng)用中，數(shù)據(jù)高效檢索尤為重要。傳統(tǒng)文件系統(tǒng)中，文件檢索采用的是“目錄->子目錄->文件->定位”的檢索步驟，在海量數(shù)據(jù)的高清視頻監(jiān)控，目錄和文件數(shù)量十分可觀，這種檢索模式的效率就會大打折扣。海康流存儲系統(tǒng)采用獨特的“設(shè)備號->對應(yīng)數(shù)據(jù)卷->偏移“檢索方式，最大限度精簡檢索深度，提高檢索效率。

精確定位、高效回放

基于底層流存儲數(shù)據(jù)結(jié)構(gòu)和快速數(shù)據(jù)定位技術(shù)，可以實現(xiàn)任意時間段(時間段可以無限小或無限接近當(dāng)前時間)的即時回放和任意時間點/時間段的快速精確檢索定位。檢索到的單路視頻錄像可以切割為多段并行回放，大大提高回放效率。

穩(wěn)定可靠的數(shù)據(jù)保存技術(shù)

數(shù)據(jù)塊空間預(yù)分配技術(shù)

監(jiān)控應(yīng)用中幾乎全部是循環(huán)覆蓋讀寫應(yīng)用，必定產(chǎn)生文件碎片，將對存儲系統(tǒng)產(chǎn)生很大影響。

該方案存儲基于流媒體數(shù)據(jù)結(jié)構(gòu)，通過數(shù)據(jù)空間預(yù)分配空間策略，在循環(huán)覆蓋應(yīng)用環(huán)境中幾乎完全消除文件碎片，使系統(tǒng)具備良好的性能和穩(wěn)定性。

原理：把數(shù)據(jù)塊劃分為大的虛擬數(shù)據(jù)塊vblock(至少是16MB)，并且按錄像周期再把虛擬數(shù)據(jù)塊劃分為不同區(qū)域，保證每個數(shù)據(jù)區(qū)域的覆蓋周期是一致的，盡大可能的避免出現(xiàn)碎片，同時提高性能和穩(wěn)定性。

N+n+m冗余

提供N+n+m的備機工作模式：N臺在線存儲設(shè)備，n臺熱備(休眠)存儲設(shè)備，m臺冷備(關(guān)機狀態(tài))存儲設(shè)備。當(dāng)在線存儲系統(tǒng)出現(xiàn)故障后，熱備機立即接替服務(wù)，故障恢復(fù)時，服務(wù)和數(shù)據(jù)回遷;如果故障機數(shù)據(jù)需要調(diào)用，可以把故障機的磁盤插入到冷備機中，實現(xiàn)所有數(shù)據(jù)的立即可用。

靈活快速的空間擴展技術(shù)

對于高清監(jiān)控系統(tǒng)，隨著監(jiān)控前端的增加和存儲時間的延長，擴展能力十分重要。某些廠商已提供單純針對容量的擴展柜擴展模式和性能容量同步線性擴展的堆疊擴展模式。