云存儲技術(shù)及其應用

近年來，隨著云計算[1-2]和軟件即服務(SaaS)[3-5]的興起，云存儲成為信息存儲領(lǐng)域的一個研究熱點。與傳統(tǒng)的存儲設(shè)備相比，云存儲不僅僅是一個硬件，而是一個網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務器、應用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等多個部分組成的系統(tǒng)[6]。

云存儲提供的是存儲服務，存儲服務通過網(wǎng)絡(luò)將本地數(shù)據(jù)存放在存儲服務提供商(SSP)提供的在線存儲空間。需要存儲服務的用戶不再需要建立自己的數(shù)據(jù)中心，只需向SSP申請存儲服務，從而避免了存儲平臺的重復建設(shè)，節(jié)約了昂貴的軟硬件基礎(chǔ)設(shè)施投資。

云存儲這個概念一經(jīng)提出，就得到了眾多廠商的支持和關(guān)注。Amazon公司推出彈性塊存儲(EBS)技術(shù)支持數(shù)據(jù)持久性存儲；Google推出在線存儲服務GDrive；內(nèi)容分發(fā)網(wǎng)絡(luò)服務提供商CDNetworks和云存儲平臺服務商Nirvanix結(jié)成戰(zhàn)略伙伴關(guān)系，提供云存儲和內(nèi)容傳送服務集成平臺；EMC公司收購Berkeley Data Systems，取得該公司的Mozy在線服務軟件，并開展SaaS業(yè)務；Microsoft公司推出Windows Azure，并在美國各地建立龐大的數(shù)據(jù)中心；IBM也將云計算標準作為全球備份中心擴展方案的一部分。

2009年12月，因特網(wǎng)數(shù)據(jù)中心(IDC)發(fā)布的2010年IT和電信行業(yè)十大預測中指出：云計算將擴張并走向成熟，會誕生許多新的公共云熱點、私有云服務、云應用以及將公共云與私有云聯(lián)系起來的服務。

1 云存儲技術(shù)

云存儲系統(tǒng)與傳統(tǒng)存儲系統(tǒng)相比，具有如下不同：第一，從功能需求來看，云存儲系統(tǒng)面向多種類型的網(wǎng)絡(luò)在線存儲服務，而傳統(tǒng)存儲系統(tǒng)則面向如高性能計算、事務處理等應用；第二，從性能需求來看，云存儲服務首先需要考慮的是數(shù)據(jù)的安全、可靠、效率等指標，而且由于用戶規(guī)模大、服務范圍廣、網(wǎng)絡(luò)環(huán)境復雜多變等特點，實現(xiàn)高質(zhì)量的云存儲服務必將面臨更大的技術(shù)挑戰(zhàn)；第三，從數(shù)據(jù)管理來看，云存儲系統(tǒng)不僅要提供類似于POSIX的傳統(tǒng)文件訪問，還要能夠支持海量數(shù)據(jù)管理并提供公共服務支撐功能，以方便云存儲系統(tǒng)后臺數(shù)據(jù)的維護。

基于上述特點，云存儲平臺整體架構(gòu)可劃分為4個層次，自底向上依次是：數(shù)據(jù)存儲層、數(shù)據(jù)管理層、數(shù)據(jù)服務層以及用戶訪問層。云存儲平臺整體架構(gòu)如圖1所示。

(1)數(shù)據(jù)存儲層

云存儲系統(tǒng)對外提供多種不同的存儲服務，各種服務的數(shù)據(jù)統(tǒng)一存放在云存儲系統(tǒng)中，形成一個海量數(shù)據(jù)池。從大多數(shù)網(wǎng)絡(luò)服務后臺數(shù)據(jù)組織方式來看，傳統(tǒng)基于單服務器的數(shù)據(jù)組織難以滿足廣域網(wǎng)多用戶條件下的吞吐性能和存儲容量需求[7]；基于P2P架構(gòu)的數(shù)據(jù)組織需要龐大的節(jié)點數(shù)量和復雜編碼算法保證數(shù)據(jù)可靠性[8]。相比而言，基于多存儲服務器的數(shù)據(jù)組織方法能夠更好滿足在線存儲服務的應用需求[9]，在用戶規(guī)模較大時，構(gòu)建分布式數(shù)據(jù)中心能夠為不同地理區(qū)域的用戶提供更好的服務質(zhì)量[10]。

云存儲的數(shù)據(jù)存儲層將不同類型的存儲設(shè)備互連起來，實現(xiàn)海量數(shù)據(jù)的統(tǒng)一管理，同時實現(xiàn)對存儲設(shè)備的集中管理、狀態(tài)監(jiān)控以及容量的動態(tài)擴展，實質(zhì)是一種面向服務的分布式存儲系統(tǒng)。

(2)數(shù)據(jù)管理層

云存儲系統(tǒng)架構(gòu)中的數(shù)據(jù)管理層為上層提供不同服務間公共管理的統(tǒng)一視圖。通過設(shè)計統(tǒng)一的用戶管理、安全管理、副本管理及策略管理等公共數(shù)據(jù)管理功能，將底層存儲及上層應用無縫銜接起來，實現(xiàn)多存儲設(shè)備之間的協(xié)同工作，以更好的性能對外提供多種服務。

(3)數(shù)據(jù)服務層

數(shù)據(jù)服務層是云存儲平臺中可以靈活擴展的、直接面向用戶的部分。根據(jù)用戶需求，可以開發(fā)出不同的應用接口，提供相應的服務。比如數(shù)據(jù)存儲服務、空間租賃服務、公共資源服務、多用戶數(shù)據(jù)共享服務、數(shù)據(jù)備份服務等。

(4)用戶訪問層

通過用戶訪問層，任何一個授權(quán)用戶都可以在任何地方，使用一臺聯(lián)網(wǎng)的終端設(shè)備，按照標準的公用應用接口來登錄云存儲平臺，享受云存儲服務。

與傳統(tǒng)的購買存儲設(shè)備和部署存儲軟件相比，云存儲方式存在以下優(yōu)點：

(1)成本低、見效快

傳統(tǒng)的購買存儲設(shè)備或軟件定制方式下，企業(yè)根據(jù)信息化管理的需求，一次性投入大量資金購置硬件設(shè)備、搭建平臺。軟件開發(fā)則經(jīng)過漫長的可行性分析、需求調(diào)研、軟件設(shè)計、編碼、測試這一過程。往往在軟件開發(fā)完成以后，業(yè)務需求發(fā)生變化，不得不對軟件進行返工，不僅影響質(zhì)量，提高成本，更是延誤了企業(yè)信息化進程，同時造成了企業(yè)之間的低水平重復投資以及企業(yè)內(nèi)部周期性、高成本的技術(shù)升級。在云存儲方式下，企業(yè)除了配置必要的終端設(shè)備接收存儲服務外，不需要投入額外的資金來搭建平臺。企業(yè)只需按用戶數(shù)分期租用服務，規(guī)避了一次性投資的風險，降低了使用成本，而且對于選定的服務，可以立即投入使用，既方便又快捷。

(2)易于管理

傳統(tǒng)方式下，企業(yè)需要配備專業(yè)的IT人員進行系統(tǒng)的維護，由此帶來技術(shù)和資金成本。云存儲模式下，維護工作以及系統(tǒng)的更新升級都由云存儲服務提供商完成，企業(yè)能夠以最低的成本享受到最新最專業(yè)的服務。

(3)方式靈活

傳統(tǒng)的購買和定制模式下，一旦完成資金的一次性投入，系統(tǒng)無法在后續(xù)使用中動態(tài)調(diào)整。隨著設(shè)備的更新?lián)Q代，落后的硬件平臺難以處置；隨著業(yè)務需求的不斷變化，軟件需要不斷地更新升級甚至重構(gòu)來與之相適應，導致維護成本高昂，很容易發(fā)展到不可控的程度。而云存儲方式一般按照客戶數(shù)、使用時間、服務項目進行收費。企業(yè)可以根據(jù)業(yè)務需求變化、人員增減、資金承受能力，隨時調(diào)整其租用服務方式，真正做到“按需使用”。

2 云備份應用

云存儲可以支持多種應用方式，如云備份、云數(shù)據(jù)共享、云資源服務等，也可以提供標準化的接口給其他網(wǎng)絡(luò)服務使用。下面以我們自行研制的B-Cloud云備份為例，簡單介紹云存儲應用的具體技術(shù)細節(jié)。B-Cloud的部署結(jié)構(gòu)如圖2所示。云備份系統(tǒng)包括3個層次的備份云：

最上層為廣域云，也稱公共云，覆蓋范圍為所有備份客戶可以通過廣域網(wǎng)訪問的區(qū)域。廣域云的服務器包括廣域管理器、廣域云存儲節(jié)點等。

中間層為區(qū)域云，通常按照地理區(qū)域(如省、地區(qū)等)來劃分。相應地，服務節(jié)點包括區(qū)域云管理器、區(qū)域云存儲節(jié)點。

最下層為本地云，也稱私有云。本地云既可以按小的地理區(qū)域劃分，也可以按照特定實體劃分，如企業(yè)、組織或校園。本地云可運行于廣域網(wǎng)或局域網(wǎng)，用戶限于區(qū)域內(nèi)的人員，服務節(jié)點包括本地管理器、私有云存儲節(jié)點。

區(qū)域云、私有云同廣域云一樣，具有多個本地的存儲節(jié)點，共同服務于多個備份客戶端。

B-Cloud云備份系統(tǒng)的拓撲結(jié)構(gòu)可描述為：以廣域云為根節(jié)點，區(qū)域云和本地云為分支節(jié)點，構(gòu)成的一顆備份云的樹狀結(jié)構(gòu)。每個節(jié)點都具有自己的備份管理器與存儲節(jié)點，分別完成本區(qū)域內(nèi)的備份任務調(diào)度與備份數(shù)據(jù)的存取。物理相連的廣域云、區(qū)域云、本地云之間，相鄰兩層的關(guān)系為父子關(guān)系，其中子節(jié)點可看作是父節(jié)點的一個特殊客戶。該結(jié)構(gòu)具有良好的擴展性，當前定義了3個層次，隨著用戶規(guī)模的增長、服務區(qū)域的拓展，可根據(jù)需要對某級節(jié)點進行裂變，增加新的節(jié)點層次。

新用戶注冊時，首先訪問系統(tǒng)的注冊服務器(負責全局用戶管理)。由注冊服務器按照預先定義的分配策略，匹配用戶的特征信息，如客戶端IP地址所屬的網(wǎng)段或區(qū)域、Email地址所屬的組織、用戶所屬的地理區(qū)域等，將用戶分配到相應的備份云節(jié)點。由備份云的管理服務器進行用戶信息的維護。完成注冊后，備份客戶端每次請求服務時，只需登錄系統(tǒng)，在指定的備份云節(jié)點下，與相應的備份管理器、存儲節(jié)點進行三方通信，接受備份及恢復服務。

按照訪問就近原則，地理位置越近，實體之間數(shù)據(jù)傳輸?shù)男试礁摺⒊杀驹降?。通過這種分層拓撲結(jié)構(gòu)，使得備份服務系統(tǒng)中的多調(diào)度服務器和多存儲服務器建立一種有序的層次關(guān)系，能夠更好地服務于不同區(qū)域的多備份客戶端。

云備份服務的應用特點決定了應用需求，需求驅(qū)動了云備份需要研究的3項關(guān)鍵技術(shù)的發(fā)展。B-Cloud云備份系統(tǒng)的研究涵蓋了服務架構(gòu)的幾個方面，他們相互之間的關(guān)系如圖3所示。

云備份服務與傳統(tǒng)的備份軟件相比，不同點主要體現(xiàn)在3個方面：

(1)用戶規(guī)模

備份軟件通常應用于局域網(wǎng)或目標群體固定的廣域網(wǎng)范圍內(nèi)。由于用戶規(guī)模較小，出于易于部署維護、成本低廉等考慮，通常存儲服務器較少，用戶對存儲服務器的訪問路徑是固定的，無須根據(jù)各種影響因素動態(tài)指定或調(diào)整。

云備份服務的對象則是廣域網(wǎng)范圍內(nèi)的大規(guī)模用戶，而且隨著服務推出時間的延長，用戶數(shù)量會持續(xù)增長。為此，系統(tǒng)必須設(shè)置多臺存儲服務器，以滿足系統(tǒng)擴展性方面的要求。在此基礎(chǔ)上，系統(tǒng)必須能夠很好地響應大量用戶的并發(fā)訪問，并通過高效的并行調(diào)度策略來為用戶指定合適的目標存儲服務器，使得存儲服務器總體負載均衡，且達到較高的存儲利用率。同時，該過程必須對用戶完全透明。

(2)數(shù)據(jù)量

云備份服務與備份軟件在用戶規(guī)模上的區(qū)別將直接導致兩者所處理的數(shù)據(jù)量區(qū)別極大。廣域網(wǎng)范圍內(nèi)的大規(guī)模用戶所產(chǎn)生的備份數(shù)據(jù)很容易達到TB甚至PB級，如何通過研究數(shù)據(jù)組織方法和壓縮算法，來提高海量數(shù)據(jù)的傳輸和存儲效率，進而提高系統(tǒng)性能、降低硬件成本、實現(xiàn)存儲節(jié)能，具有重要的現(xiàn)實意義。

(3)服務安全

云備份服務要滿足多方面的需求：既要兼容客戶端的異構(gòu)數(shù)據(jù)平臺，又要滿足數(shù)據(jù)在塊級、文件級及應用級的完整性；既要適應于復雜多變的廣域網(wǎng)環(huán)境，又要保證數(shù)據(jù)的安全性。

要統(tǒng)籌兼顧的問題越多，意味著存儲系統(tǒng)的功能越復雜，也就越容易產(chǎn)生各種異常。另一方面，云備份服務系統(tǒng)比一般的備份軟件對可信性的要求更高。

當前備份服務的概念在中國剛剛興起，阻礙其發(fā)展的一個重要原因是用戶的消費習慣。人們在潛意識里總是感覺將關(guān)鍵數(shù)據(jù)備份在可視范圍內(nèi)的身邊設(shè)備上比較安全。而一旦要求用戶把私密數(shù)據(jù)備份到異地的數(shù)據(jù)中心，則會擔心數(shù)據(jù)安全性能否得到充分保障?？陀^上云備份服務容易產(chǎn)生各類異常，主觀上用戶對備份服務更高的安全需求，都造成了對云備份服務的安全性研究刻不容緩。

以上討論的云備份的應用特點對應了如下云備份研究的幾個主要方面：

(1)命令流

B-Cloud包括三大部分：備份客戶端、管理器和存儲服務器。管理器是整個服務系統(tǒng)的管理中心，負責任務調(diào)度、作業(yè)管理及服務過程中的狀態(tài)監(jiān)控。備份或恢復操作開始之前，從備份客戶端提出服務請求，到系統(tǒng)開始提供服務這段時間，3個部分除了執(zhí)行雙向安全認證之外，還有一項很重要的任務就是由管理器完成作業(yè)調(diào)度，建立備份客戶端與存儲服務器之間的聯(lián)系。

(2)數(shù)據(jù)流

備份或恢復數(shù)據(jù)流的傳輸在備份客戶端與存儲服務器之間直接完成，不需要經(jīng)過管理器。這種數(shù)據(jù)不經(jīng)過中間環(huán)節(jié)直接在數(shù)據(jù)源和目的地之間的傳輸，不僅提高了效率，而且對系統(tǒng)整體負載平衡起到了較好的效果。備份數(shù)據(jù)組織與壓縮是數(shù)據(jù)傳輸與存儲的關(guān)鍵所在。

(3)服務的安全性

云備份的安全涉及到服務平臺的安全性、各個模塊的安全性及模塊之間協(xié)調(diào)和通信的安全性。這個問題需要專門的論述才能闡述清楚，本文不做過多討論。

3 結(jié)束語

本文介紹了云存儲技術(shù)，并以云備份為例，討論了云存儲應用實現(xiàn)當中需要注意的幾個問題。以服務的方式滿足應用需求，已經(jīng)成為信息領(lǐng)域技術(shù)發(fā)展的一種趨勢，但如何實現(xiàn)云存儲，并使其廣泛應用，還需要更多的研究和努力。