帶你認(rèn)識存儲系統(tǒng)的心臟：存儲處理器

存儲系統(tǒng)作為網(wǎng)絡(luò)后臺的核心設(shè)備，為各類信息應(yīng)用提供網(wǎng)絡(luò)存儲、高可用數(shù)據(jù)庫集群、高性能計算、數(shù)據(jù)備份、復(fù)制、容災(zāi)、遷移等各類服務(wù)。存儲系統(tǒng)是一種將多個磁盤驅(qū)動器組織在一起，以提供較高的數(shù)據(jù)讀寫、傳輸性能和存儲安全特性的計算機(jī)設(shè)備，是典型的嵌入式系統(tǒng)，其控制器是所有功能的實(shí)現(xiàn)者，決定著系統(tǒng)體系結(jié)構(gòu)。

存儲系統(tǒng)的控制器，類似于服務(wù)器內(nèi)部的PCI RAID控制器，又有較大的差別，這里，我們來談一談存儲系統(tǒng)控制器，使讀者對存儲設(shè)備有較全面的了解。

嵌入式架構(gòu)

存儲系統(tǒng)控制器和PCI RAID卡具有相同的邏輯構(gòu)成，有I/O處理器、高速緩存、硬盤接口控制器、高速總線、儲存嵌入式軟件的閃存、內(nèi)外連接接口等。

圖1、 采用雙段PCI-X總線的光纖通道磁盤陣列控制器 本文引用地址：http://butianyuan.cn/article/201706/353481.htm

硬件構(gòu)成上，和PCI RAID卡不同，存儲控制器還有用于連接主機(jī)的磁盤控制器，以及更多的協(xié)同處理和管理的功能芯片。物理上，為了能夠?qū)崿F(xiàn)各類芯片的布局，存儲控制器通常分為控制器板卡、I/O接口卡、管理模塊卡等幾大部分。

任何硬件功能的發(fā)揮，離不開軟件。存儲控制器軟件實(shí)現(xiàn)如下三個功能：管理和控制磁盤集合（陣列）、傳送I/O操作進(jìn)/出磁盤、為數(shù)據(jù)冗余計算校驗(yàn)值或使用校驗(yàn)值恢復(fù)丟失的數(shù)據(jù)。在軟件構(gòu)成上包括3個部分：陣列控制軟件，板支持包及接口驅(qū)動軟件，操作系統(tǒng)及設(shè)備接口。

圖2、控制器軟件示意圖

存儲控制器軟件的各模塊功能如下：

? 系統(tǒng)初始化模塊：負(fù)責(zé)系統(tǒng)初始階段的系統(tǒng)自舉、設(shè)備自檢、參數(shù)設(shè)定、資源分配等。
? 命令分解模塊：負(fù)責(zé)服務(wù)器命令的分解、應(yīng)答等。
? 數(shù)據(jù)分塊重組模塊：負(fù)責(zé)服務(wù)器數(shù)據(jù)的分塊和底層數(shù)據(jù)的重組。
? 緩存管理：負(fù)責(zé)命令及數(shù)據(jù)緩存的分配、聚散、釋放等。
? I/O調(diào)度模塊：負(fù)責(zé)上層與底層I/O命令的并行、流水調(diào)度等。
? 校驗(yàn)信息計算模塊：負(fù)責(zé)校驗(yàn)信息的計算。
? 數(shù)據(jù)重構(gòu)模塊：負(fù)責(zé)降級模式下的數(shù)據(jù)提供。
? 數(shù)據(jù)恢復(fù)模塊：負(fù)責(zé)磁盤出錯時的數(shù)據(jù)自動恢復(fù)。
? RCR模塊：實(shí)現(xiàn)RAID Cache RAID功能，提供陣列性能。

僅僅控制器是遠(yuǎn)遠(yuǎn)不夠的，還要輔以下列系統(tǒng)設(shè)計方法，方可構(gòu)建一個高可用的存儲系統(tǒng)：

采用模塊化技術(shù)，研究開發(fā)磁盤陣列的磁盤子系統(tǒng)、控制器、電源、結(jié)構(gòu)件、連接件等模塊，并在存儲設(shè)備內(nèi)部采用無電纜連接技術(shù)，提高系統(tǒng)的集成度和可靠度。

采用全冗余熱拔插技術(shù)，實(shí)現(xiàn)存儲設(shè)備模塊內(nèi)主要工作子系統(tǒng)，例如散熱子系統(tǒng)、電源子系統(tǒng)、控制器子系統(tǒng)的容錯能力，提高可用性。

采用結(jié)構(gòu)一體化設(shè)計技術(shù)，為存儲設(shè)備和整個海量存儲系統(tǒng)提供足夠的散熱能力，提高系統(tǒng)的穩(wěn)定性和可靠性；合理的結(jié)構(gòu)設(shè)計，將保證電源、風(fēng)扇、硬盤、控制器模塊的無電纜連接，并保證冗余熱拔插功能的實(shí)現(xiàn)。

存儲處理器特性要求

高性能

與一般的PCI RAID卡相比，存儲系統(tǒng)的控制器控制軟件除了實(shí)現(xiàn)基本的RAID功能，支持RAID 0、1、0+1、3、5、30、50等級別外，還通過以下技術(shù)提高存儲設(shè)備的傳輸性能：

（1）實(shí)現(xiàn)存儲設(shè)備與系統(tǒng)的均衡。在分析磁盤陣列的隨機(jī)Petri網(wǎng)模型和計算硬件組成環(huán)節(jié)運(yùn)行時間的基礎(chǔ)上，利用Petri網(wǎng)模型計算主要環(huán)節(jié)的利用率，選擇合適的通信機(jī)制，利用運(yùn)行時間的計算結(jié)果合理地確定硬件配置，來解決主從通道與磁盤通道的速度匹配、各級緩沖存儲器的容量匹配和通信方式的選擇等影響性能的關(guān)鍵問題，使系統(tǒng)結(jié)構(gòu)趨于合理，達(dá)到負(fù)載均衡的目的。

（2）實(shí)現(xiàn)串內(nèi)多線程操作。通過選擇恰當(dāng)?shù)拇疟P控制器，實(shí)現(xiàn)同一物理鏈路多個磁盤驅(qū)動器的并發(fā)操作，實(shí)現(xiàn)串內(nèi)磁盤驅(qū)動器的并發(fā)操作，在時間上重迭地處理數(shù)據(jù)的存取，從而達(dá)到提高傳輸性能的目的。

（3）實(shí)現(xiàn)底層設(shè)備的I/O合并操作。利用底層硬件未曾利用的數(shù)據(jù)聚散（Scatter/Gather）功能，將所有分解到某個磁盤驅(qū)動器上的子命令，按其操作屬性進(jìn)行合并，并將邏輯地址離散的數(shù)據(jù)調(diào)整為支持一次I/O操作的格式，然后用一次I/O代替多次I/O，達(dá)到降低服務(wù)時間的目的。

（4）利用縱橫LRU替換算法實(shí)現(xiàn)縱橫LRU替換。對于主機(jī)的大塊數(shù)據(jù)訪問，當(dāng)?shù)趇塊數(shù)據(jù)在第j個磁盤驅(qū)動器上時，第i+1塊數(shù)據(jù)肯定在第（j+1）mod N個磁盤驅(qū)動器上，如果第i塊數(shù)據(jù)在第j組緩存失效，那么第i+1塊數(shù)據(jù)有可能在第（j+1）mod N組緩存也發(fā)生失效，因此在數(shù)據(jù)讀寫過程考慮數(shù)據(jù)塊在磁盤驅(qū)動器上的橫向相關(guān)性，可以通過縱橫LRU替換算法，將縱向預(yù)騰空（即同一組內(nèi)的預(yù)騰空）發(fā)展成縱橫預(yù)騰空（即多組同時替換）。

智能化

控制器提供了存儲系統(tǒng)一定的在線操作智能化能力，減少由存儲模塊自身原因引起的系統(tǒng)停機(jī)，提高存儲系統(tǒng)內(nèi)數(shù)據(jù)的高可用能力，這些特性包含：

? 多種讀寫方式
? RAID陣列遷移、級別遷移、容量在線擴(kuò)展、容量在線擴(kuò)容、磁盤易位
? 面向單RAID陣列的讀寫應(yīng)用優(yōu)化
? 系統(tǒng)管理和監(jiān)控

控制器除了提高磁盤陣列在線操作智能化能力的同時，還實(shí)現(xiàn)I/O讀寫的智能化。I/O負(fù)載可以表示為一個三元組（地址、大小、讀/寫），因而存取模式可以對應(yīng)一個三維空間，每一維對應(yīng)三元組的一個元素隨時間的變化值。自適應(yīng)磁盤陣列通過獲取不同I/O負(fù)載和不同磁盤數(shù)據(jù)分布的特征，調(diào)節(jié)磁盤陣列參數(shù)和調(diào)度策略，以獲取系統(tǒng)的最大性能。

高可用

支持雙控制器和鏡像緩存，是存儲控制器的獨(dú)有特性，它和冗余熱拔插、模塊化無電纜連接技術(shù)一起，可滿足海量存儲系統(tǒng)的高可用性要求。雙控制器系統(tǒng)中，每個控制器擁有自己的緩存，可獨(dú)立工作，也可通過系統(tǒng)的通訊背板相互監(jiān)測狀態(tài)，實(shí)現(xiàn)故障切換、甚至負(fù)載共享。磁盤陣列還可實(shí)現(xiàn)與服務(wù)器之間的路徑冗余，即當(dāng)主路徑失敗時，系統(tǒng)可以使用另一條I/O路徑，在服務(wù)器和存儲系統(tǒng)間傳輸數(shù)據(jù)，該功能可以保證陣列與兩臺服務(wù)器，以及雙機(jī)高可用軟件，構(gòu)成一個完全排除單點(diǎn)故障的雙機(jī)高可用集群系統(tǒng)。

圖3、雙控磁盤陣列通道連接示意圖

高擴(kuò)展

存儲控制器是后臺計算系統(tǒng)的I/O連接橋梁，在控制器基板和總線上，通過植入各種不同工業(yè)標(biāo)準(zhǔn)的I/O控制器，例如SCSI、FC、iSCSI、ATA、SATA、SAS控制器，可以方便的構(gòu)成不同種類的磁盤陣列設(shè)備，選擇不同種類和數(shù)量的控制器，可以保證存儲系統(tǒng)的主機(jī)連接和硬盤連接的高擴(kuò)展特性。

在其控制器上采用了FC-AL技術(shù)，理論上一個FC-AL通道可以最大連接127個設(shè)備，而且，如果磁盤陣列提供兩個FC-AL接口，即實(shí)現(xiàn)了通道擴(kuò)展，可以把一組硬盤連接在一個雙光纖環(huán)路上，實(shí)現(xiàn)同一組光纖硬盤的全雙工操作，兩個雙光纖環(huán)路間通過并行I/O技術(shù)和全雙工操作，實(shí)際I/O吞吐率可以達(dá)到320MB/s以上。

圖4 、雙光纖線環(huán)路連接示意圖

后記：

隨著信息化應(yīng)用規(guī)模的急劇擴(kuò)大，存儲系統(tǒng)所面對的數(shù)據(jù)量和I/O操作量日漸巨大，并且網(wǎng)絡(luò)化存儲需求越來越迫切，這需要從總線、處理器、I/O控制器角度提高存儲系統(tǒng)的性能，大容量緩存、二級緩存、多路處理器、新型總線等，都是存儲系統(tǒng)控制器性能提升的方向。在由計算器（服務(wù)器）、存儲連接設(shè)備和存儲系統(tǒng)構(gòu)成的后臺應(yīng)用系統(tǒng)中，從存儲系統(tǒng)上實(shí)現(xiàn)更多的存儲管理功能，例如遠(yuǎn)程鏡像、虛擬存儲、數(shù)據(jù)快照、數(shù)據(jù)備份、緩存服務(wù)，是提高后臺系統(tǒng)數(shù)據(jù)管理能力的捷徑，更是存儲控制器的一個發(fā)展方向。