看圖識(shí)云 全面解析云存儲(chǔ)的網(wǎng)格架構(gòu)
云存儲(chǔ)(cloud storage)這個(gè)概念一經(jīng)提出,就得到了眾多廠商的支持和關(guān)注。Amazon在兩年前就推出的Elastic Compute Cloud(EC2:彈性計(jì)算云)云存儲(chǔ)產(chǎn)品,旨在為用戶提供互聯(lián)網(wǎng)服務(wù)形式同時(shí)提供更強(qiáng)的存儲(chǔ)和計(jì)算功能。內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)提供商CDNetworks和業(yè)界著名的云存儲(chǔ)平臺(tái)服務(wù)商 Nirvanix發(fā)布了一項(xiàng)新的合作,并宣布結(jié)成戰(zhàn)略伙伴關(guān)系,以提供業(yè)界目前唯一的云存儲(chǔ)和內(nèi)容傳送服務(wù)集成平臺(tái)。
本文引用地址:http://butianyuan.cn/article/173386.htm半年以前,微軟就已經(jīng)推出了提供網(wǎng)絡(luò)移動(dòng)硬盤服務(wù)的Windows Live SkyDrive Beta測(cè)試版。近期,EMC宣布加入 道里可信基礎(chǔ)架構(gòu)項(xiàng)目,致力于云計(jì)算環(huán)境下關(guān)于信任和可靠度保證的全球研究協(xié)作,IBM也將云計(jì)算標(biāo)準(zhǔn)作為全球備份中心的3億美元擴(kuò)展方案的一部分。
云存儲(chǔ)變得越來(lái)越熱,大家眾說(shuō)紛”云”,而且各有各的說(shuō)法,各有各的觀點(diǎn),那么到底什么是云存儲(chǔ)?
云狀的網(wǎng)格結(jié)構(gòu)
云存儲(chǔ)在云計(jì)算 (cloud computing)概念上延伸和發(fā)展出來(lái)的一個(gè)新的概念。云計(jì)算是是分布式處理(Distributed Computing)、并行處理(Parallel Computing)和網(wǎng)格計(jì)算(Grid Computing)的發(fā)展,是透過(guò)網(wǎng)絡(luò)將龐大的計(jì)算處理程序自動(dòng)分拆成無(wú)數(shù)個(gè)較小的子程序,再交由多部服務(wù)器所組成的龐大系統(tǒng)經(jīng)計(jì)算分析之后將處理結(jié)果回傳給用戶。通過(guò)云計(jì)算技術(shù),網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi),處理數(shù)以千萬(wàn)計(jì)甚至億計(jì)的信息,達(dá)到和”超級(jí)計(jì)算機(jī)”同樣強(qiáng)大的網(wǎng)絡(luò)服務(wù)。
云存儲(chǔ)的概念與云計(jì)算類似,它是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。如果這樣解釋還是難以理解,那我們可以借用廣域網(wǎng)和互聯(lián)網(wǎng)的結(jié)構(gòu)來(lái)解釋云存儲(chǔ)。
相信大家對(duì)局域網(wǎng)、廣域網(wǎng)和互聯(lián)網(wǎng)都已經(jīng)非常了解了。在常見的局域網(wǎng)系統(tǒng)中,我們?yōu)榱四芨玫厥褂镁钟蚓W(wǎng),一般來(lái)講,使用者需要非常清楚地知道網(wǎng)絡(luò)中每一個(gè)軟硬件的型號(hào)和配置,比如采用什么型號(hào)交換機(jī),有多少個(gè)端口,采用了什么路由器和防火墻,分別是如何設(shè)置的。系統(tǒng)中有多少個(gè)服務(wù)器,分別安裝了什么操作系統(tǒng)和軟件。各設(shè)備之間采用什么類型的連接線纜,分配了什么 xml:lang=IP地址和子網(wǎng)掩碼。
但當(dāng)我們使用廣域網(wǎng)和互聯(lián)網(wǎng)時(shí),我們只需要知道是什么樣的接入網(wǎng)和用戶名、密碼就可以連接到廣域網(wǎng)和互聯(lián)網(wǎng),并不需要知道廣域網(wǎng)和互聯(lián)網(wǎng)中到底有多少臺(tái)交換機(jī)、路由器、防火墻和服務(wù)器,不需要知道數(shù)據(jù)是通過(guò)什么樣的路由到達(dá)我們的電腦,也不需要知道網(wǎng)絡(luò)中的服務(wù)器分別安裝了什么軟件,更不需要知道網(wǎng)絡(luò)中各設(shè)備之間采用了什么樣的連接線纜和端口。
廣域網(wǎng)和互聯(lián)網(wǎng)對(duì)于具體的使用者是完全透明的,我們經(jīng)常用一個(gè)云狀的圖形來(lái)表示廣域網(wǎng)和互聯(lián)網(wǎng)。
雖然云狀的圖形中包含了許許多多的交換機(jī)、路由器、防火墻和服務(wù)器,但對(duì)具體的廣域網(wǎng)、互聯(lián)網(wǎng)用戶來(lái)講,這些都是不需要知道的。這個(gè)云狀圖形代表的是廣域網(wǎng)和互聯(lián)網(wǎng)帶給大家的互聯(lián)互通的網(wǎng)絡(luò)服務(wù),無(wú)論我們?cè)谌魏蔚胤?,都可以通過(guò)一個(gè)網(wǎng)絡(luò)接入線纜和一個(gè)用戶、密碼,就可以接入廣域網(wǎng)和互聯(lián)網(wǎng),享受網(wǎng)絡(luò)帶給我們的服務(wù)。
參考云狀的網(wǎng)絡(luò)結(jié)構(gòu),創(chuàng)建一個(gè)新型的云狀結(jié)構(gòu)的存儲(chǔ)系統(tǒng)系統(tǒng),這個(gè)存儲(chǔ)系統(tǒng)由多個(gè)存儲(chǔ)設(shè)備組成,通過(guò)集群功能、分布式文件系統(tǒng)或類似網(wǎng)格計(jì)算等功能聯(lián)合起來(lái)協(xié)同工作,并通過(guò)一定的應(yīng)用軟件或應(yīng)用接口,對(duì)用戶提供一定類型的存儲(chǔ)服務(wù)和訪問服務(wù)。
當(dāng)我們使用某一個(gè)獨(dú)立的存儲(chǔ)設(shè)備時(shí),我們必須非常清楚這個(gè)存儲(chǔ)設(shè)備是什么型號(hào),什么接口和傳輸協(xié)議,必須清楚地知道存儲(chǔ)系統(tǒng)中有多少塊磁盤,分別是什么型號(hào)、多大容量,必須清楚存儲(chǔ)設(shè)備和服務(wù)器之間采用什么樣的連接線纜。為了保證數(shù)據(jù)安全和業(yè)務(wù)的連續(xù)性,我們還需要建立相應(yīng)的數(shù)據(jù)備份系統(tǒng)和容災(zāi)系統(tǒng)。除此之外,對(duì)存儲(chǔ)設(shè)備進(jìn)行定期地狀態(tài)監(jiān)控、維護(hù)、軟硬件更新和升級(jí)也是必須的。
如果采用云存儲(chǔ),那么上面所提到的一切對(duì)使用者來(lái)講都不需要了。云狀存儲(chǔ)系統(tǒng)中的所有設(shè)備對(duì)使用者來(lái)講都是完全透明的,任何地方的任何一個(gè)經(jīng)過(guò)授權(quán)的使用者都可以通過(guò)一根接入線纜與云存儲(chǔ)連接,對(duì)云存儲(chǔ)進(jìn)行數(shù)據(jù)訪問。
云存儲(chǔ)簡(jiǎn)易架構(gòu)圖
經(jīng)??吹饺藗?cè)谡務(wù)撛拼鎯?chǔ),但是沒看過(guò)實(shí)際的圖,人們很難想象到底云存儲(chǔ)是什么模樣,下面就是一個(gè)云存儲(chǔ)的簡(jiǎn)易架構(gòu)圖
橘色的存儲(chǔ)節(jié)點(diǎn)(storage node)負(fù)責(zé)存放文件,藍(lán)色的控制節(jié)點(diǎn)(control node)則是作為文件索引,并負(fù)責(zé)監(jiān)控存儲(chǔ)節(jié)點(diǎn)間容量及負(fù)載的均衡,這2個(gè)部分合起來(lái)便組成一個(gè)云存儲(chǔ)。存儲(chǔ)節(jié)點(diǎn)與控制節(jié)點(diǎn)都是單純的服務(wù)器,只是存儲(chǔ)節(jié)點(diǎn)的硬盤多一些,存儲(chǔ)節(jié)點(diǎn)服務(wù)器不需要具備 RAID 的功能,只要能安裝 Linux 即可,控制節(jié)點(diǎn)為了保護(hù)數(shù)據(jù),需要有簡(jiǎn)單的 RAID level 01的功能。每個(gè)存儲(chǔ)節(jié)點(diǎn)與控制節(jié)點(diǎn)至少有2片網(wǎng)卡(千兆、萬(wàn)兆卡都可以,有些也支持 infiniband),一片網(wǎng)卡 internal 負(fù)責(zé)內(nèi)部存儲(chǔ)節(jié)點(diǎn)與控制節(jié)點(diǎn)的溝通、數(shù)據(jù)遷移,一片 external 負(fù)責(zé)對(duì)外應(yīng)用端的數(shù)據(jù)讀寫,一片千兆卡,讀可以達(dá)到100MB,寫可以達(dá)到70MB,如果你覺得對(duì)外一片網(wǎng)卡不夠,也可以多裝幾片。
上面灰色的方塊(NFS、HTTP、FTP、WebDav)是應(yīng)用端,左上角的灰色方塊(mgmt console)是一臺(tái)PC,負(fù)責(zé)云存儲(chǔ)中存儲(chǔ)節(jié)點(diǎn)的管理。對(duì)應(yīng)用端看來(lái),云存儲(chǔ)只是個(gè)文件系統(tǒng),而且一般來(lái)說(shuō)支持標(biāo)準(zhǔn)的協(xié)議,例如 NFS、HTTP、FTP、WebDav等等,所以很容易把舊有的系統(tǒng)與云存儲(chǔ)結(jié)合,應(yīng)用端不需要作什么改變。
云存儲(chǔ)不是要取代現(xiàn)有的盤陣,而是為了應(yīng)付高速成長(zhǎng)的數(shù)據(jù)量與帶寬而產(chǎn)生的新形態(tài)存儲(chǔ)系統(tǒng),因此云存儲(chǔ)在設(shè)計(jì)時(shí)通常會(huì)考慮以下三點(diǎn)
1. 容量、帶寬的擴(kuò)容是否簡(jiǎn)便
擴(kuò)容是不能停機(jī),會(huì)自動(dòng)將新的存儲(chǔ)節(jié)點(diǎn)容量納入原來(lái)的存儲(chǔ)池,不需要做繁復(fù)的設(shè)定
2. 帶寬是否線形增長(zhǎng)
使用云存儲(chǔ)的客戶,很多是考慮未來(lái)帶寬的增長(zhǎng),因此云存儲(chǔ)產(chǎn)品設(shè)計(jì)的好壞會(huì)產(chǎn)生很大的差異,有些十幾個(gè)節(jié)點(diǎn)便達(dá)到飽和,這樣對(duì)未來(lái)帶寬的擴(kuò)容就有不利的影響,這一點(diǎn)要事先弄清楚,否則等到發(fā)現(xiàn)不符合需求時(shí),已經(jīng)買了幾百TB,后悔就來(lái)不及了
3. 管理是否容易
不說(shuō) google 有五萬(wàn)臺(tái)存儲(chǔ)服務(wù)器,即使國(guó)內(nèi)也有很多客戶有超過(guò)500臺(tái)存儲(chǔ)的,若不使用云存儲(chǔ)來(lái)統(tǒng)一管理,管理500臺(tái)存儲(chǔ)是一個(gè)巨大的工作,一不小心就可能導(dǎo)致某些應(yīng)用的崩潰,因此云存儲(chǔ)的應(yīng)用是一個(gè)必然的趨勢(shì),當(dāng)用戶把應(yīng)用遷移到云存儲(chǔ),他管理的就是一臺(tái)存儲(chǔ),而不是 500臺(tái)甚至五萬(wàn)臺(tái)存儲(chǔ)。管理一臺(tái)存儲(chǔ)不容易出錯(cuò),分別管理五萬(wàn)臺(tái)要不出錯(cuò)就很難了
上面我介紹的是一個(gè)純軟件的云存儲(chǔ)解決方案,有的產(chǎn)品是硬件的解決方案,他們把橘色的存儲(chǔ)節(jié)點(diǎn)和藍(lán)色的控制節(jié)點(diǎn),放在一臺(tái)設(shè)備上,這樣做的缺點(diǎn)是成本比較高,客戶也不能夠按照自己的需求,任意選擇適合自己規(guī)格的硬件,例如讀寫性能、網(wǎng)卡、硬盤容量等等,因此我個(gè)人觀點(diǎn)覺得軟件的解決方案會(huì)成為最后的贏家,因?yàn)橐栽拼鎯?chǔ)使用者的角度來(lái)看,他們對(duì)成本的要求很高、也不希望放棄他們?cè)械挠布度?,這些都是硬件的解決方案無(wú)法滿足的。
評(píng)論