數(shù)據(jù)中心的整體測試方案

1 引言

數(shù)據(jù)中心(Data Center)集中為各種企業(yè)業(yè)務(wù)提供數(shù)據(jù)，實現(xiàn)了IT系統(tǒng)整合和集中管理。這也導(dǎo)致數(shù)據(jù)中心規(guī)模越來越大，復(fù)雜度越來越高。為了建設(shè)集中扁平化，統(tǒng)一多種應(yīng)用的融合數(shù)據(jù)中心，未來數(shù)據(jù)中心建設(shè)將圍繞融合網(wǎng)絡(luò)和虛擬化展開，大量新技術(shù)應(yīng)用在數(shù)據(jù)中心中，如數(shù)據(jù)中心以太網(wǎng)，F(xiàn)ibre Channel Over Ethernet，虛擬化等。新技術(shù)的驗證和性能評估是數(shù)據(jù)中心部署的第一步，在測試中需要把新舊組件結(jié)合起來，進行集中的整體分析。思博倫通信推出業(yè)界第一個整體數(shù)據(jù)中心測試解決方案。本文從數(shù)據(jù)中心網(wǎng)絡(luò)基準性能測試方法，數(shù)據(jù)中心以太網(wǎng)測試，F(xiàn)CoE測試，虛擬化測試等方面，對思博倫數(shù)據(jù)中心整體分析解決方案進行論述。

2 基準性能測試

基準性能測試是數(shù)據(jù)中心設(shè)備最基本的測試項目。通信界長期以來形成了一系列測試標準，定義了基準性能和基準性能測試方法。這些標準對包括數(shù)據(jù)中心在內(nèi)的網(wǎng)絡(luò)設(shè)備和系統(tǒng)都非常有效。系列標準包括：RFC 1242/2544：網(wǎng)絡(luò)和網(wǎng)絡(luò)設(shè)備的基準性能測試術(shù)語和測試方法學(xué)。RFC 2432/2889：以太網(wǎng)二層交換機基準性能測試術(shù)語和測試方法學(xué)。RFC 2432/3918：組播基準性能測試術(shù)語和測試方法學(xué)。RFC 2647/3511：防火墻基準性能測試術(shù)語和測試方法學(xué)。其他對數(shù)據(jù)中心測試非常有效的測試標準，比如RFC 5180，定義了RFC2544在IPv6上擴展，RFC 4814，定義偽隨機測試流量模式。RFC 4689，定義網(wǎng)絡(luò)層QoS測試術(shù)語。

Spirent TestCenter為上述基準性能測試提供了標準自動測試套件。在此基礎(chǔ)上，Spirent TestCenter提供了很多對數(shù)據(jù)中心有效的測試擴展：

(1)基準性能測試標準中定義的是固定幀長的測試。一般說來，設(shè)備對大幀的轉(zhuǎn)發(fā)性能優(yōu)于小幀。但現(xiàn)網(wǎng)中有各種幀長，所以有了Internet混合幀長(IMIX)的概念。在IMIX模型中，用戶可以根據(jù)應(yīng)用自定義不同幀長幀的比例關(guān)系(見圖1)。Spirent TestCenter還可以完成隨機幀長和IMIX的基準性能測試。

圖1 RFC 3393 Jitter原理圖

(2)巨型幀(Jumbo Frame)基準性能測試。傳統(tǒng)的以太網(wǎng)幀最大幀長是1518字節(jié)。而數(shù)據(jù)中心業(yè)務(wù)傳輸大塊數(shù)據(jù)，F(xiàn)ibre Channel幀最長為2112字節(jié)。為了避免FCoE分片帶來的額外開銷，數(shù)據(jù)中心以太網(wǎng)要求支持2.5kbyte的Jumbo Frame。Spirent TestCenter能夠支持最大16kbyte的巨型幀，支持Jumbo Frame的基準性能測試。

(3)隨著實時業(yè)務(wù)的增加，一些能有效反映實時業(yè)務(wù)質(zhì)量的統(tǒng)計量被越來越重視。比如，抖動，RFC3393和MEF10對抖動提供了標準的定義：It’s defined as absolute value of difference between Latency A and Latency B。

Spirent TestCenter能在基準性能測試的同時，測試出不同負載下的抖動。

●數(shù)據(jù)中心網(wǎng)絡(luò)要求幀的順序傳遞。RFC4737/MEF10對幀的順序性提供了明確定義。Spirent TestCenter是目前惟一支持RFC 4737/MEF10幀的順序定義的測試儀表。
●在任意拓撲之上的基準性能測試。傳統(tǒng)測試中，基準性能測試和協(xié)議測試往往是分開的，在進行某項測試時，系統(tǒng)所有資源都在為這項測試服務(wù)，而現(xiàn)網(wǎng)中，協(xié)議和數(shù)據(jù)轉(zhuǎn)發(fā)是同時運行的。Spirent TestCenter 把協(xié)議平面和數(shù)據(jù)轉(zhuǎn)發(fā)平面測試結(jié)合起來，能先建立協(xié)議平面拓撲，然后在此拓撲之上運行基準性能測試。比如，先在測試端口之間建立FCoE Session，然后在之上運行FCoE數(shù)據(jù)的RFC 2544測試。

Spirent TestCenter能夠每端口產(chǎn)生32k條獨立測試流和實時分析64k條獨立的測試流，能夠在一個端口上仿真經(jīng)過RR調(diào)度，WRR調(diào)度和絕對優(yōu)先級調(diào)度的測試流量，能非常好地測試流量的優(yōu)先級區(qū)分功能和QoS能力。

Spirent TestCenter提供了業(yè)界最高的10ns測量精度，具備業(yè)界最優(yōu)的時延補償算法，其任何類型的端口，包括10/100/1000Mbit/s和10G接口在任何幀長和負載下的自環(huán)時延，都在0.3us以下。數(shù)據(jù)中心設(shè)備轉(zhuǎn)發(fā)時延都在us級別。Spirent TestCenter自有時延可以忽略，而且由于各種接口的自有時延一致，進行不同類型接口之間性能測試，比如千兆和萬兆接口之間測試，不存在時延無法補償問題。由于數(shù)據(jù)中心設(shè)備的轉(zhuǎn)發(fā)時延和抖動要求非常高，所以Spirent TestCenter的測試精度和時延補償算法對數(shù)據(jù)中心測試非常重要。

3 數(shù)據(jù)中心以太網(wǎng)和Fibre Channel over Ethernet

傳統(tǒng)的Fibre Channel技術(shù)廣泛應(yīng)用在存儲網(wǎng)絡(luò)(SANs)中。而以太網(wǎng)技術(shù)在網(wǎng)絡(luò)領(lǐng)域占據(jù)統(tǒng)治地位。企業(yè)的數(shù)據(jù)中心網(wǎng)絡(luò)中，可能會建若干網(wǎng)絡(luò)，其中以太網(wǎng)承載IP流量，F(xiàn)ibre Channel承載基于塊讀寫的SCSI流量，可能還會由InfiniBand來承載高速I/O。這造成了大量的線纜、能耗和費用。把這些應(yīng)用融合到以太網(wǎng)上，建設(shè)統(tǒng)一融合的數(shù)據(jù)中心以太網(wǎng)(Data Center Ethernet，DCE)，能夠大幅減少線纜和能耗，大大降級運維成本。數(shù)據(jù)中心以太網(wǎng)也稱為融合增強型以太網(wǎng)(Converged Enhanced Ethernet，CEE)。

3.1 數(shù)據(jù)中心以太網(wǎng)測試

在DCE/CEE中，F(xiàn)ibre Channel幀映射到以太網(wǎng)上來進行承載。Fibre Channel提供流控機制，保證無丟包，并且對時延的增加/變化或者抖動非常敏感。而傳統(tǒng)的以太網(wǎng)絡(luò)可以容忍一定的丟包和時延變化/抖動。所以IEEE定義了一系列標準，規(guī)范DCE/CEE對于傳統(tǒng)以太網(wǎng)增強，主要包括：

●802.1Qbb Priority Flow Control(PFC)：802.1Qbb是基于優(yōu)先級的流控標準。在一條物理鏈路上，分成8個優(yōu)先級通道。一條鏈路上可以承載多種業(yè)務(wù)類型，包括FCoE和非FCoE的業(yè)務(wù)。當發(fā)生擁塞時候，接收端可以在特定的優(yōu)先級通道上發(fā)送XOFF和XON幀，抑制或者繼續(xù)特定的業(yè)務(wù)，保證高優(yōu)先級或者時延敏感的業(yè)務(wù)的傳輸。圖2是802.1qbb的原理圖。

圖2 802.1Qbb原理

●802.1Qaz Enhanced Transmision Selection(ETS)：保證不同服務(wù)級別上的質(zhì)量。在DCE業(yè)務(wù)中，IPC是時延敏感的業(yè)務(wù)，SAN是對丟包敏感的業(yè)務(wù)，而IP業(yè)務(wù)是可以允許一定的丟包和時延。鏈路上的業(yè)務(wù)，可以分為若干優(yōu)先級組(Priority Group，PG)，并且定義每個PG的帶寬屬性。重要的業(yè)務(wù)，比如存儲網(wǎng)絡(luò)數(shù)據(jù)被賦予高優(yōu)先級，保證帶寬。低優(yōu)先級業(yè)務(wù)只能在高優(yōu)先級業(yè)務(wù)帶寬不占用的情況下，才能使用分配帶寬之外的額外帶寬。圖3是ETS和PG的典型例子。

圖3 ETS和PG實例

●Data Center Bridge Exchange(DCBX)：IEEE LinkLayer Discovery Protocol(LLDP)的擴展，可以在鏈路建立的時候交換兩端設(shè)備的能力參數(shù)，比如是否支持PFC，以及802.1Qaz Priority Group。

●其他相關(guān)標準：包括IEEE 802.1Qau端到端擁塞管理標準，為克服生成樹協(xié)議單路徑和收斂慢特點的Layer2 Multipathing(L2MP)協(xié)議等。

DCE/CEE測試，首先要完成前述的基準性能測試，其次是傳統(tǒng)以太網(wǎng)的測試，如生成樹/多生成樹協(xié)議，VLAN，訪問控制列表(ACL)，路由協(xié)議等。此外，最重要的就是對上述以太網(wǎng)增強功能和性能進行測試。Spirent TestCenter提供了全面的測試方案。

(1)ETS測試

Spirent TestCenter每端口可以支持產(chǎn)生32k條和實時分析64k調(diào)獨立的測試Stream，產(chǎn)生豐富的測試流量，驗證ETS各Priority Group的帶寬分配、流量整形等功能。Spirent TestCenter能為每一優(yōu)先級和Priority Group提供基本帶寬以及其他高級統(tǒng)計功能，包括實時丟包，實時RFC 4737序列，實時RFC 3393 Jitter，誤碼率等，評估每一種Priority Group的流量特性。圖4是業(yè)務(wù)設(shè)置和結(jié)果顯示。

圖4 Spirent TestCenter ETS測試和測試結(jié)果

(2)PFC測試

PFC測試是要驗證DCE設(shè)備在擁塞情況下對于PFC幀的發(fā)生和響應(yīng)情況。PFC XOFF幀中包含抑制流量的時間，以512bit時間為單位，稱為Pause Quanta，在10G速率下對應(yīng)51.2ns。Spirent TestCenter可以對每個優(yōu)先級的抑制時間和XOFF和XON幀的發(fā)送間隔和序列進行用戶自定義。

Spirent TestCenter可以統(tǒng)計兩個PFC重要指標：Pause持續(xù)時間和Pause響應(yīng)時間。Pause響應(yīng)時間是指從儀表發(fā)送XOFF幀，到收到這個優(yōu)先級上最后一個數(shù)據(jù)幀的時間。

Spirent TestCenter可以在多個優(yōu)先級上產(chǎn)生不同Pause Quanta的異步XON/XOFF序列，同時發(fā)送不同幀長的雙向測試流量，驗證每條流的最大時延和PAUSE功能。一個典型的測試例如圖5所示。

圖5 真實PFC測試場景

在這個和真實網(wǎng)絡(luò)非常相似的測試場景中，一共有3級流量，分別是P1，P2和P3：

●Spirent TestCenter同時在P1，P2和P3上發(fā)送不同幀長的雙向流量。
●Spirent TestCenter同時在3個優(yōu)先級上發(fā)送Pause Quanta為65535的XOFF消息。
●150us時候，Spirent TestCenter先在P2上發(fā)送XON消息，結(jié)束P2優(yōu)先級上的流量抑制。
●200us時候，Spirent TestCenter在P1上發(fā)送XON消息。
●300us時候，Spirent TestCenter在P3上發(fā)送XON消息。
●600us時候(150+450)，在P2上發(fā)送XOFF，重復(fù)上述行為。
●700us時候，在P1上發(fā)送XOFF，重復(fù)上述行為。
●1000us時候，在P3上發(fā)送XOFF，重復(fù)上述行為。

經(jīng)過若干輪循環(huán)后，不同優(yōu)先級上流量異步，給被測設(shè)備造成很大的壓力。我們評估每條測試流的最大時延和Pause時間。當具有幾十/上百個端口的設(shè)備同時做這類測試，將給設(shè)備帶來極大的壓力，能測出系統(tǒng)或者設(shè)備的性能極限。

3.2 FCoE測試

FCoE用以太網(wǎng)替換了Fibre Channel中的FC-0和FC-1，把Fibre Channel幀作為Layer 3協(xié)議直接封裝在以太網(wǎng)之上傳輸。圖6是FCoE的協(xié)議層次。FCoE要求以太網(wǎng)支持上述DCE擴展特性。

圖6 FCoE的協(xié)議層次圖

2個Fibre Channel節(jié)點之間的典型通信過程包括：

●Link初始化。
●F_LOGI：完成交換機發(fā)現(xiàn)，N_Port和F_Port之間交換能力參數(shù)，節(jié)點FCID分配，初始化流控參數(shù)。
●P_LOGI：建立端到端的連接，交換PWWN，NWWN和協(xié)商操作參數(shù)。
●可選的PRLI：進行端到端進程級別的服務(wù)參數(shù)協(xié)商。

FCoE要求和傳統(tǒng)的FC Fabric無縫對接，所以FCoE必須透明支持所有Fibre Channel特性。FCoE分為2個部分：FC初始化協(xié)議(FC Initialization Protocol，F(xiàn)IP)和FCoE協(xié)議。

FIP協(xié)議完成Fabric發(fā)現(xiàn)和F_LOGI功能。FCoE協(xié)議包含P_LOGI，PRLI以及Fibre Channel幀的傳輸。圖7是FIP和FCoE的協(xié)議封裝圖。

圖7 FIP和FCoE協(xié)議封裝圖(上圖是FCoE協(xié)議封裝，下圖是FIP協(xié)議封裝)

基本的FCoE測試包括協(xié)議功能測試和性能測試，包括：FIP協(xié)議功能(Discovery，Login，Logout 等功能)；FCID和Ethernet MAC映射；FCoE Session之上的性能測試；FCoE和非FCoE混合性能測試。

Spirent TestCenter能夠仿真FC Initiator和Target。圖8是Spirent TestCenter進行FCoE協(xié)議和性能測試的拓撲結(jié)構(gòu)。

圖8 FCoE測試拓撲

Spirent TestCenter提供了完整的Fibre Channel測試功能，包括：基于狀態(tài)的真實FIP和FCoE協(xié)議仿真；FIP協(xié)議包括Discovery and FLOGI/FLOGO；支持SPMA，F(xiàn)PMA(Mac Address Assignment)；每端口仿真500個FCoE Host；FCoE拓撲之上的數(shù)據(jù)平面性能測試，測試流量綁定；FPMA/SPMA分配的地址；靜態(tài)WWN分配；豐富的實時統(tǒng)計。

Spirent TestCenter為FCoE測試提供方便快捷的測試向?qū)?，幫助用戶快速完成?fù)雜的系統(tǒng)測試配置。測試向?qū)Ъ闪薖FC配置和集成的測試流量配置。

4 虛擬化和云計算測試

隨著數(shù)據(jù)中心物理服務(wù)器成倍增加，硬件成本高漲，所以整合是必然趨勢。通過整合，將多種業(yè)務(wù)集成在同一臺服務(wù)器上，減少服務(wù)器數(shù)量，有效降低服務(wù)器硬件成本和管理難度。

多種業(yè)務(wù)集成在一臺服務(wù)器上，如何保證資源的合理分配，如何保證安全是一個難題。虛擬化是解決這些問題的途徑。虛擬化指用多個物理實體創(chuàng)建一個邏輯實體，或者用一個物理實體創(chuàng)建多個邏輯實體。實體可以是計算、存儲、網(wǎng)絡(luò)或應(yīng)用資源。虛擬化的實質(zhì)就是將不同的業(yè)務(wù)和業(yè)務(wù)資源隔離開來，從而保證業(yè)務(wù)對于資源的要求。

虛擬化對擴展性測試提出了很高的要求。新的虛擬化產(chǎn)品可以在一個物理服務(wù)器上支持64個或以上的虛擬化實例。一個數(shù)據(jù)中心可能會有成百的物理服務(wù)器，這將導(dǎo)致非常大的網(wǎng)絡(luò)流量。同時部署虛擬服務(wù)器，將導(dǎo)致額外的管理流量。比如VMware Vmotion產(chǎn)品，可以在數(shù)據(jù)中心中遷移虛擬服務(wù)器，這增強了實時性和可靠性，同時也產(chǎn)生了大量網(wǎng)絡(luò)流量。

隨著實體交換機的精簡和虛擬化，物理交換機也被一并整合到虛擬平臺。

以虛擬化技術(shù)為核心的云計算成為電信業(yè)，互聯(lián)網(wǎng)業(yè)和IT業(yè)的市場和技術(shù)熱點。“云”是一些可以自我維護和管理的虛擬計算資源，通常為一些大型服務(wù)器集群。云計算通過虛擬平臺將所有計算資源集中起來，并由軟件實現(xiàn)自動管理，無需人為參與。這使應(yīng)用提供者無需關(guān)注繁瑣的細節(jié)，能夠?qū)Ｗ⒂谧约旱臉I(yè)務(wù)。

對虛擬設(shè)備的測試，包括性能測試和協(xié)議的測試，比如VLAN，ACL，組播協(xié)議等。僅通過把測試儀表接到集成虛擬交換機的服務(wù)器的物理接口上測試是不夠的，一臺物理服務(wù)器上有很多虛擬設(shè)備，很難隔離評估每一個虛擬設(shè)備的性能。這就需要測試工具虛擬化。虛擬化測試工具以軟件形式駐留在服務(wù)器內(nèi)部，具備對應(yīng)的物理測試工具的功能。從虛擬網(wǎng)絡(luò)設(shè)備角度看，一個虛擬化測試工具的端口和一個物理測試端口是一樣的。虛擬化測試工具能夠在任何虛擬端口以及虛擬端口和物理端口之間提供測試L2—L7測試流量。

Spirent TestCenter Virtual是Spirent TestCenter的虛擬化測試模塊，可以駐留在虛擬機上，用于評估虛擬服務(wù)器交換機和基于云的虛擬技術(shù)的性能。圖9顯示了Spirent TestCenter Virtual的基本測試原理。

圖9 Spirent TestCenter Virtual測試原理圖

Spirent TestCenter Virtual 是業(yè)界第一個虛擬化測試解決方案，提供下列功能：

●提供L2—L7 線速測試流量，測試虛擬設(shè)備和物理設(shè)備的性能。
●仿真VLAN，IGMP，F(xiàn)CoE等協(xié)議，產(chǎn)生真實基于狀態(tài)的應(yīng)用層流量。
●提供RFC 2544，RFC 2889，RFC 3918組播等基準性能測試。
●和Spirent TestCenter硬件結(jié)合測試業(yè)務(wù)和路徑可以是物理網(wǎng)絡(luò)?VM，VM?VM和物理網(wǎng)絡(luò)?物理網(wǎng)絡(luò)，為整個系統(tǒng)及系統(tǒng)的每個部分提供詳盡的性能和功能分析。
●集成虛擬網(wǎng)絡(luò)架構(gòu)性能，擴展性和安全性分析。
●通過Spirent TestCenter GreenPut關(guān)聯(lián)網(wǎng)絡(luò)負載和能耗關(guān)系，測試在不同的網(wǎng)絡(luò)負載下的能耗以及Throughput Per Watt。

通過Spirent TestCenter和Spirent TestCenter Virtual組成的測試系統(tǒng)，我們可以完成：

●在虛擬交換機上完成所有在物理交換機上需要進行的測試。
●快速定位影響網(wǎng)絡(luò)性能的物理或虛擬組件。
●完成對虛擬交換機、防火墻、負載均衡器和其他虛擬組件的基準性能測試，包括單播和組播測試。
●實時驗證在實時虛擬服務(wù)器遷移和資源調(diào)配中應(yīng)用的可靠性。
●比較評估不同廠家的虛擬化平臺的性能。
●對整個數(shù)據(jù)中心系統(tǒng)或者云計算系統(tǒng)進行全面評估。