關(guān) 閉

新聞中心

EEPW首頁(yè) > 工控自動(dòng)化 > 設(shè)計(jì)應(yīng)用 > 基于HDFS的云存儲(chǔ)在高校信息資源整合中的應(yīng)用

基于HDFS的云存儲(chǔ)在高校信息資源整合中的應(yīng)用

作者: 時(shí)間:2012-02-22 來(lái)源:網(wǎng)絡(luò) 收藏

中數(shù)據(jù)的交互無(wú)外乎數(shù)據(jù)的讀和寫,重點(diǎn)設(shè)計(jì)的對(duì)象就是客戶端、名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)??蛻舳耸紫葟拿Q節(jié)點(diǎn)中讀取對(duì)應(yīng)的文件塊信息,再和數(shù)據(jù)節(jié)點(diǎn)建立連接并獲取數(shù)據(jù),圖2具體描述了數(shù)據(jù)讀取過(guò)程。

本文引用地址:http://butianyuan.cn/article/202391.htm

b.jpg


的數(shù)據(jù)寫入過(guò)程比讀取過(guò)程細(xì)節(jié)上更為復(fù)雜一些,但是模型圖非常類似。除了數(shù)據(jù)的讀寫,維護(hù)數(shù)據(jù)的可用性和一致性也是系統(tǒng)最基本的要求和重要的功能。一般來(lái)說(shuō),系統(tǒng)通過(guò)數(shù)據(jù)復(fù)制、節(jié)點(diǎn)故障、數(shù)據(jù)校驗(yàn)、垃圾回收機(jī)制來(lái)維護(hù)數(shù)據(jù)的可用性和一致性。

3 應(yīng)用于整合高校
3.1 系統(tǒng)分析與設(shè)計(jì)
目前高校面臨著空前的海量數(shù)據(jù)管理難題,存儲(chǔ)數(shù)據(jù)的成本在不斷增加,而且信息的安全性也亟待提高。因此要借用這種新的工作模式來(lái)解決這個(gè)問(wèn)題。根據(jù)高校的特殊情況,結(jié)合的優(yōu)點(diǎn),要設(shè)計(jì)一個(gè)成功的云存儲(chǔ)案例,需要考慮這么幾個(gè)方面:
1)低成本海量存儲(chǔ) 將數(shù)據(jù)存儲(chǔ)在一般的個(gè)人電腦構(gòu)成的網(wǎng)絡(luò)中,并進(jìn)行合理調(diào)配,構(gòu)成一個(gè)有機(jī)海量存儲(chǔ)設(shè)備。
2)高效率的訪問(wèn) 數(shù)據(jù)盡可能的存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)中,當(dāng)客戶端對(duì)信息進(jìn)行請(qǐng)求時(shí),能高效的回復(fù),并做到并發(fā)。
3)安全性高 每個(gè)文件都會(huì)有多個(gè)副本分別存儲(chǔ)在多個(gè)數(shù)據(jù)節(jié)點(diǎn)上。如果某個(gè)數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)問(wèn)題,不會(huì)發(fā)生文件丟失的現(xiàn)象。
3.2 系統(tǒng)功能設(shè)計(jì)
高校相對(duì)于云存儲(chǔ)系統(tǒng)是一個(gè)用戶,而高校內(nèi)部有多個(gè)部門,相對(duì)于云存儲(chǔ)系統(tǒng)的用戶高校來(lái)說(shuō)是一個(gè)子用戶。云存儲(chǔ)系統(tǒng)能夠創(chuàng)建、管理、維護(hù)高校云存儲(chǔ)用戶;高校云用戶能夠創(chuàng)建、管理、維護(hù)各部門子用戶。而子用戶才是真正的終端信息存儲(chǔ)用戶,他們上傳、下載、刪除數(shù)據(jù)信息。由于我們的這個(gè)系統(tǒng)是基于HDFS的,而一個(gè)基本的HDFS由一個(gè)NameNode和n個(gè)DataNode組成,云存儲(chǔ)系統(tǒng)是由多個(gè)地方的HDFS存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作,完成外部訪問(wèn)請(qǐng)求。可以將本文描述的分布式文件系統(tǒng)(DFS)抽象成一個(gè)三級(jí)模型,如圖3所示。

c.jpg


根據(jù)系統(tǒng)結(jié)構(gòu)圖可以清楚看到本文描述的分布式文件系統(tǒng)(DFS)的業(yè)務(wù)邏輯模型:終端網(wǎng)絡(luò)發(fā)出信息存取訪問(wèn)請(qǐng)求,DFS通過(guò)封裝與HDFS通信協(xié)議的Client客戶端與基于HDFS的云存儲(chǔ)系統(tǒng)進(jìn)行通信,完成對(duì)信息的訪問(wèn)。HDFS存儲(chǔ)業(yè)務(wù)以云狀分布在網(wǎng)絡(luò)的各個(gè)部分,它具有容量大、性能高、可靠性好、協(xié)同優(yōu)良的特點(diǎn),正是這些特點(diǎn),完成了高校高效訪問(wèn)與存儲(chǔ)。

4 結(jié)論
基于HDFS的云存儲(chǔ)是一種動(dòng)態(tài)可調(diào)整、基于互聯(lián)網(wǎng)的存儲(chǔ)解決方案,用戶可以通過(guò)通用和易用協(xié)議和應(yīng)用程序接口通過(guò)網(wǎng)絡(luò)訪問(wèn)存儲(chǔ)目標(biāo),這種新技術(shù)對(duì)最終用戶來(lái)說(shuō)很有好處。云存儲(chǔ)可以讓用戶很容易增加存儲(chǔ)容量,而且不需要購(gòu)買、安裝和管理任何存儲(chǔ)基礎(chǔ)設(shè)施,卻提供了一個(gè)完善的備份、容災(zāi)數(shù)據(jù)中心。云存儲(chǔ)的成本和易用性優(yōu)勢(shì)對(duì)高校具有很強(qiáng)的吸引力,發(fā)展和應(yīng)用前景廣闊。


上一頁(yè) 1 2 下一頁(yè)

評(píng)論


相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉