網(wǎng)絡(luò)存儲(chǔ)器的設(shè)計(jì)

1 網(wǎng)絡(luò)存儲(chǔ)器技術(shù)的產(chǎn)生
隨著基于計(jì)算機(jī)集群系統(tǒng)的應(yīng)用的不斷擴(kuò)大，對(duì)整個(gè)系統(tǒng)性能的要求也就越來(lái)越高，越來(lái)越復(fù)雜的計(jì)算任務(wù)常常需要用到大量的數(shù)據(jù)，因此數(shù)據(jù)的I／0操作性能就成了影響計(jì)算機(jī)集群系統(tǒng)整體性能的一個(gè)重要指標(biāo)。根據(jù)系統(tǒng)平衡設(shè)計(jì)原理，系統(tǒng)使用最快部件所能達(dá)到的加速比受限制于最慢的系統(tǒng)部件，而目前限制計(jì)算機(jī)集群系統(tǒng)整體性能的主要因素就來(lái)自于計(jì)算機(jī)系統(tǒng)中的磁盤(pán)的I／O瓶頸。因此，提高計(jì)算機(jī)系統(tǒng)中磁盤(pán)的I／O性能就成了提高計(jì)算機(jī)集群系統(tǒng)整體性能所需要解決的首要問(wèn)題。
通過(guò)分析計(jì)算機(jī)集群系統(tǒng)的資源優(yōu)勢(shì)，我們發(fā)現(xiàn)：一方面，由于網(wǎng)絡(luò)技術(shù)的高速發(fā)展，網(wǎng)絡(luò)通訊延遲越來(lái)越小，網(wǎng)絡(luò)訪問(wèn)比本地磁盤(pán)訪問(wèn)的速度快得多。另一方面，整個(gè)計(jì)算機(jī)集群系統(tǒng)內(nèi)部的全部?jī)?nèi)存是一個(gè)容量很大的資源。如果利用計(jì)算機(jī)集群內(nèi)其它節(jié)點(diǎn)的空閑內(nèi)存來(lái)作為本地節(jié)點(diǎn)的虛擬內(nèi)存或文件緩存，可以大幅度節(jié)省磁盤(pán)訪問(wèn)時(shí)間，從而緩解磁盤(pán)的I／0瓶頸所帶來(lái)的問(wèn)題。這種使用計(jì)算機(jī)集群系統(tǒng)內(nèi)的節(jié)點(diǎn)的主存提高計(jì)算機(jī)系統(tǒng)I／0性能的技術(shù)就稱(chēng)為網(wǎng)絡(luò)存儲(chǔ)器技術(shù)。
伴隨著高性能網(wǎng)絡(luò)技術(shù)的出現(xiàn)和普及，計(jì)算機(jī)系統(tǒng)在傳統(tǒng)的存儲(chǔ)器層次中增加了一個(gè)新的層次一網(wǎng)絡(luò)存儲(chǔ)器(Net―work Memory)。計(jì)算機(jī)的性能依賴(lài)于系統(tǒng)內(nèi)處理器與存儲(chǔ)器之間數(shù)據(jù)交換的速度，網(wǎng)絡(luò)存儲(chǔ)器正是通過(guò)提高處理器與存儲(chǔ)器之間的數(shù)據(jù)交換的速度來(lái)提高計(jì)算機(jī)系統(tǒng)性能的，并進(jìn)而提高整個(gè)計(jì)算機(jī)集群系統(tǒng)的性能。

2 計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)的變化
在計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)當(dāng)中，存儲(chǔ)器的用途是多種多樣的，如寄存器、高速緩存、主存儲(chǔ)器和磁盤(pán)等。憑借高速緩存和操作系統(tǒng)對(duì)存儲(chǔ)器的管理與分配等技術(shù)，使得整個(gè)存儲(chǔ)系統(tǒng)的速度接近于系統(tǒng)內(nèi)速度最快的那個(gè)存儲(chǔ)器，容量接近于容量最大的那個(gè)存儲(chǔ)器。存儲(chǔ)結(jié)構(gòu)的性能由各層次的有效存取時(shí)間決定，它依賴(lài)于相鄰層次的命中率、訪問(wèn)頻率和存取速度比。命中率越高，訪問(wèn)頻率越低，則性能越高。在命中率和訪問(wèn)頻率一定的情況下，下一層次的存儲(chǔ)器的訪問(wèn)速度越快，則性能越高。
2．1 傳統(tǒng)的計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)
在傳統(tǒng)的計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)中(如圖2)，以主存儲(chǔ)器為分界線，主要可以分為上下兩層，上層是由外部高速緩存和主存儲(chǔ)器構(gòu)成的高速緩存存儲(chǔ)系統(tǒng)，下層則是由磁盤(pán)或磁帶等大容量存儲(chǔ)設(shè)備構(gòu)成的存儲(chǔ)系統(tǒng)。

隨著集群技術(shù)的普及與廣泛應(yīng)用，低速磁盤(pán)與高速內(nèi)存之間的速度瓶頸問(wèn)題就顯得尤為突出，有必要尋找一種辦法來(lái)緩解內(nèi)存與磁盤(pán)之間的速度不匹配問(wèn)題。
要緩解這個(gè)矛盾，有三種辦法。第一，提高磁盤(pán)自身的存取速度。而這需要大量的資金與精力的投入，在目前看來(lái)，是不現(xiàn)實(shí)的，也是不可取的。第二，像解決高速處理器與內(nèi)存的速度瓶頸問(wèn)題一樣，在本地主存儲(chǔ)器和本地磁盤(pán)之間也插入一種類(lèi)似于高速緩存的存儲(chǔ)介質(zhì)。第三，使用網(wǎng)絡(luò)空閑內(nèi)存代替本地磁盤(pán)，與本地主存儲(chǔ)器進(jìn)行數(shù)據(jù)交換。目前高速發(fā)展的網(wǎng)絡(luò)互聯(lián)技術(shù)使得后兩種辦法成為可能，那就是網(wǎng)絡(luò)存儲(chǔ)器。
2．2 具有網(wǎng)絡(luò)存儲(chǔ)器的計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)
應(yīng)用了網(wǎng)絡(luò)存儲(chǔ)器的計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)發(fā)生了改變，如圖3所示，對(duì)于第二種解決方法，網(wǎng)絡(luò)存儲(chǔ)器在主存儲(chǔ)器和磁盤(pán)之間充當(dāng)了一個(gè)緩存的角色，這樣可以有效地緩解內(nèi)存和磁盤(pán)之間速度瓶頸的問(wèn)題。對(duì)于第三種解決方法，網(wǎng)絡(luò)存儲(chǔ)器在計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)中的位置會(huì)有相應(yīng)的變化。

3 網(wǎng)絡(luò)存儲(chǔ)器的可行性分析
為了考查實(shí)際情況下的網(wǎng)絡(luò)存儲(chǔ)器，可以考查一個(gè)工作站集群，這個(gè)集群有100個(gè)工作站，每個(gè)工作站各有一個(gè)處理器，內(nèi)存為64MB或128MB，硬盤(pán)為2GB或4GB。工作站以155Mb／s的ATM連接，典型的延遲是20微秒，帶寬為15Mb／s。這種環(huán)境下，很多工作站上裝載了用戶的應(yīng)用程序以及正在使用的集群資源(CPU、內(nèi)存、硬盤(pán)、網(wǎng)絡(luò))。根據(jù)統(tǒng)計(jì)情況，在給定的時(shí)間內(nèi)，仍有相當(dāng)多的資源沒(méi)有被利用。在夜間，甚至有80％～90％的工作站都被閑置著，即使在一天中最忙的時(shí)候，仍有三分之一的工作站完全未用，通常晚上有超過(guò)l千兆字節(jié)的存儲(chǔ)器空閑。在任何時(shí)間，在50臺(tái)機(jī)器的網(wǎng)絡(luò)中有30臺(tái)是空閑的。
圖4是希臘計(jì)算機(jī)科學(xué)學(xué)院(ICS)計(jì)算機(jī)結(jié)構(gòu)與VLSI系統(tǒng)小組提出的模型，該模型是一個(gè)由16臺(tái)工作站組成的共800M主存的集群。由圖4可以看出，絕大多數(shù)時(shí)間集群內(nèi)空閑內(nèi)存都超過(guò)了700MB，尤其在夜間和周末。