帶你認識存儲系統(tǒng)的心臟：存儲處理器
加入技術交流群
存儲系統(tǒng)的控制器，類似于服務器內部的PCI RAID控制器，又有較大的差別，這里，我們來談一談存儲系統(tǒng)控制器，使讀者對存儲設備有較全面的了解。
嵌入式架構
存儲系統(tǒng)控制器和PCI RAID卡具有相同的邏輯構成，有I/O處理器、高速緩存、硬盤接口控制器、高速總線、儲存嵌入式軟件的閃存、內外連接接口等。
 |
圖1、 采用雙段PCI-X總線的光纖通道磁盤陣列控制器 本文引用地址：http://butianyuan.cn/article/201706/353481.htm |
硬件構成上，和PCI RAID卡不同，存儲控制器還有用于連接主機的磁盤控制器，以及更多的協(xié)同處理和管理的功能芯片。物理上，為了能夠實現(xiàn)各類芯片的布局，存儲控制器通常分為控制器板卡、I/O接口卡、管理模塊卡等幾大部分。
任何硬件功能的發(fā)揮，離不開軟件。存儲控制器軟件實現(xiàn)如下三個功能：管理和控制磁盤集合（陣列）、傳送I/O操作進/出磁盤、為數(shù)據(jù)冗余計算校驗值或使用校驗值恢復丟失的數(shù)據(jù)。在軟件構成上包括3個部分：陣列控制軟件，板支持包及接口驅動軟件，操作系統(tǒng)及設備接口。
 |
圖2、控制器軟件示意圖 |
存儲控制器軟件的各模塊功能如下：
? 系統(tǒng)初始化模塊：負責系統(tǒng)初始階段的系統(tǒng)自舉、設備自檢、參數(shù)設定、資源分配等。
? 命令分解模塊：負責服務器命令的分解、應答等。
? 數(shù)據(jù)分塊重組模塊：負責服務器數(shù)據(jù)的分塊和底層數(shù)據(jù)的重組。
? 緩存管理：負責命令及數(shù)據(jù)緩存的分配、聚散、釋放等。
? I/O調度模塊：負責上層與底層I/O命令的并行、流水調度等。
? 校驗信息計算模塊：負責校驗信息的計算。
? 數(shù)據(jù)重構模塊：負責降級模式下的數(shù)據(jù)提供。
? 數(shù)據(jù)恢復模塊：負責磁盤出錯時的數(shù)據(jù)自動恢復。
? RCR模塊：實現(xiàn)RAID Cache RAID功能，提供陣列性能。
僅僅控制器是遠遠不夠的，還要輔以下列系統(tǒng)設計方法，方可構建一個高可用的存儲系統(tǒng)：
采用模塊化技術，研究開發(fā)磁盤陣列的磁盤子系統(tǒng)、控制器、電源、結構件、連接件等模塊，并在存儲設備內部采用無電纜連接技術，提高系統(tǒng)的集成度和可靠度。
采用全冗余熱拔插技術，實現(xiàn)存儲設備模塊內主要工作子系統(tǒng)，例如散熱子系統(tǒng)、電源子系統(tǒng)、控制器子系統(tǒng)的容錯能力，提高可用性。
采用結構一體化設計技術，為存儲設備和整個海量存儲系統(tǒng)提供足夠的散熱能力，提高系統(tǒng)的穩(wěn)定性和可靠性；合理的結構設計，將保證電源、風扇、硬盤、控制器模塊的無電纜連接，并保證冗余熱拔插功能的實現(xiàn)。
存儲處理器特性要求
高性能
與一般的PCI RAID卡相比，存儲系統(tǒng)的控制器控制軟件除了實現(xiàn)基本的RAID功能，支持RAID 0、1、0+1、3、5、30、50等級別外，還通過以下技術提高存儲設備的傳輸性能：
（1）實現(xiàn)存儲設備與系統(tǒng)的均衡。在分析磁盤陣列的隨機Petri網(wǎng)模型和計算硬件組成環(huán)節(jié)運行時間的基礎上，利用Petri網(wǎng)模型計算主要環(huán)節(jié)的利用率，選擇合適的通信機制，利用運行時間的計算結果合理地確定硬件配置，來解決主從通道與磁盤通道的速度匹配、各級緩沖存儲器的容量匹配和通信方式的選擇等影響性能的關鍵問題，使系統(tǒng)結構趨于合理，達到負載均衡的目的。
（2）實現(xiàn)串內多線程操作。通過選擇恰當?shù)拇疟P控制器，實現(xiàn)同一物理鏈路多個磁盤驅動器的并發(fā)操作，實現(xiàn)串內磁盤驅動器的并發(fā)操作，在時間上重迭地處理數(shù)據(jù)的存取，從而達到提高傳輸性能的目的。
（3）實現(xiàn)底層設備的I/O合并操作。利用底層硬件未曾利用的數(shù)據(jù)聚散（Scatter/Gather）功能，將所有分解到某個磁盤驅動器上的子命令，按其操作屬性進行合并，并將邏輯地址離散的數(shù)據(jù)調整為支持一次I/O操作的格式，然后用一次I/O代替多次I/O，達到降低服務時間的目的。
（4）利用縱橫LRU替換算法實現(xiàn)縱橫LRU替換。對于主機的大塊數(shù)據(jù)訪問，當?shù)趇塊數(shù)據(jù)在第j個磁盤驅動器上時，第i+1塊數(shù)據(jù)肯定在第（j+1）mod N個磁盤驅動器上，如果第i塊數(shù)據(jù)在第j組緩存失效，那么第i+1塊數(shù)據(jù)有可能在第（j+1）mod N組緩存也發(fā)生失效，因此在數(shù)據(jù)讀寫過程考慮數(shù)據(jù)塊在磁盤驅動器上的橫向相關性，可以通過縱橫LRU替換算法，將縱向預騰空（即同一組內的預騰空）發(fā)展成縱橫預騰空（即多組同時替換）。
智能化
控制器提供了存儲系統(tǒng)一定的在線操作智能化能力，減少由存儲模塊自身原因引起的系統(tǒng)停機，提高存儲系統(tǒng)內數(shù)據(jù)的高可用能力，這些特性包含：
? 多種讀寫方式
? RAID陣列遷移、級別遷移、容量在線擴展、容量在線擴容、磁盤易位
? 面向單RAID陣列的讀寫應用優(yōu)化
? 系統(tǒng)管理和監(jiān)控
控制器除了提高磁盤陣列在線操作智能化能力的同時，還實現(xiàn)I/O讀寫的智能化。I/O負載可以表示為一個三元組（地址、大小、讀/寫），因而存取模式可以對應一個三維空間，每一維對應三元組的一個元素隨時間的變化值。自適應磁盤陣列通過獲取不同I/O負載和不同磁盤數(shù)據(jù)分布的特征，調節(jié)磁盤陣列參數(shù)和調度策略，以獲取系統(tǒng)的最大性能。
高可用
支持雙控制器和鏡像緩存，是存儲控制器的獨有特性，它和冗余熱拔插、模塊化無電纜連接技術一起，可滿足海量存儲系統(tǒng)的高可用性要求。雙控制器系統(tǒng)中，每個控制器擁有自己的緩存，可獨立工作，也可通過系統(tǒng)的通訊背板相互監(jiān)測狀態(tài)，實現(xiàn)故障切換、甚至負載共享。磁盤陣列還可實現(xiàn)與服務器之間的路徑冗余，即當主路徑失敗時，系統(tǒng)可以使用另一條I/O路徑，在服務器和存儲系統(tǒng)間傳輸數(shù)據(jù)，該功能可以保證陣列與兩臺服務器，以及雙機高可用軟件，構成一個完全排除單點故障的雙機高可用集群系統(tǒng)。
 |
圖3、雙控磁盤陣列通道連接示意圖 |
高擴展
存儲控制器是后臺計算系統(tǒng)的I/O連接橋梁，在控制器基板和總線上，通過植入各種不同工業(yè)標準的I/O控制器，例如SCSI、FC、iSCSI、ATA、SATA、SAS控制器，可以方便的構成不同種類的磁盤陣列設備，選擇不同種類和數(shù)量的控制器，可以保證存儲系統(tǒng)的主機連接和硬盤連接的高擴展特性。
在其控制器上采用了FC-AL技術，理論上一個FC-AL通道可以最大連接127個設備，而且，如果磁盤陣列提供兩個FC-AL接口，即實現(xiàn)了通道擴展，可以把一組硬盤連接在一個雙光纖環(huán)路上，實現(xiàn)同一組光纖硬盤的全雙工操作，兩個雙光纖環(huán)路間通過并行I/O技術和全雙工操作，實際I/O吞吐率可以達到320MB/s以上。
 |
圖4 、雙光纖線環(huán)路連接示意圖 |
后記：
隨著信息化應用規(guī)模的急劇擴大，存儲系統(tǒng)所面對的數(shù)據(jù)量和I/O操作量日漸巨大，并且網(wǎng)絡化存儲需求越來越迫切，這需要從總線、處理器、I/O控制器角度提高存儲系統(tǒng)的性能，大容量緩存、二級緩存、多路處理器、新型總線等，都是存儲系統(tǒng)控制器性能提升的方向。在由計算器（服務器）、存儲連接設備和存儲系統(tǒng)構成的后臺應用系統(tǒng)中，從存儲系統(tǒng)上實現(xiàn)更多的存儲管理功能，例如遠程鏡像、虛擬存儲、數(shù)據(jù)快照、數(shù)據(jù)備份、緩存服務，是提高后臺系統(tǒng)數(shù)據(jù)管理能力的捷徑，更是存儲控制器的一個發(fā)展方向。
評論