設(shè)備軟件可靠性測(cè)試

現(xiàn)有的測(cè)試手段中，最直接的方式是通過改動(dòng)硬件線路或干預(yù)數(shù)字信號(hào)制造故障。此外，可以通過軟件加入調(diào)試命令，對(duì)一些關(guān)鍵器件的狀態(tài)進(jìn)行修改，設(shè)置為非法的狀態(tài)來模擬故障。

3、壓力測(cè)試

任何設(shè)備或系統(tǒng)都是在一定的工作負(fù)荷下完成其功能。如果外部加入的工作負(fù)擔(dān)超過其最大能力，系統(tǒng)效能會(huì)下降甚至是停止工作。這是一種與可用性相背離的特性，卻是任何系統(tǒng)的必然屬性。很多重要系統(tǒng)是通過增加硬件成本，人為降低承諾指標(biāo)來緩解這一問題，然而事實(shí)上都存在一個(gè)能力極限，除非輸入子系統(tǒng)進(jìn)行了硬性限制。

為了提高設(shè)備的性價(jià)比，一般軟件系統(tǒng)不會(huì)設(shè)定承載能力的硬性約束，因此，設(shè)備都會(huì)面對(duì)超負(fù)荷工作的場(chǎng)景。軟件設(shè)計(jì)力爭(zhēng)減少超負(fù)荷運(yùn)行的負(fù)面效應(yīng)，使系統(tǒng)在合理壓力下能夠正常運(yùn)作是可靠性的一個(gè)重要考量。雖然用戶不會(huì)要求設(shè)備能在超負(fù)荷的工作環(huán)境下連續(xù)穩(wěn)定運(yùn)行，但在真實(shí)網(wǎng)絡(luò)中，負(fù)荷波動(dòng)是無法避免的，短時(shí)間的超載運(yùn)行不應(yīng)該導(dǎo)致災(zāi)難性的后果。

事實(shí)上，壓力除了令系統(tǒng)的計(jì)算能力經(jīng)受考驗(yàn)，也會(huì)使系統(tǒng)內(nèi)的很多資源被軟件進(jìn)程占用；如果壓力消除以后，這些資源不能被充分釋放和回收，經(jīng)受過壓力的系統(tǒng)將無法完全恢復(fù)正常的工作能力。

壓力測(cè)試就是通過制造設(shè)備的超載負(fù)荷，模擬設(shè)備在真實(shí)環(huán)境下可能遇到的場(chǎng)景。一臺(tái)網(wǎng)絡(luò)設(shè)備會(huì)有很多負(fù)載指標(biāo)，驗(yàn)證各個(gè)指標(biāo)的超載工作能力是一項(xiàng)繁雜的測(cè)試工作。除了觀測(cè)壓力下設(shè)備的反應(yīng)，在負(fù)荷恢復(fù)到承諾指標(biāo)范圍內(nèi)之后，系統(tǒng)完全達(dá)到正常工作狀態(tài)的能力和恢復(fù)時(shí)間也是用戶關(guān)心的指標(biāo)。這些高負(fù)載的測(cè)試一般都要依賴專用的測(cè)試儀器來模擬。

一般在設(shè)備規(guī)格會(huì)寫明產(chǎn)品支持的IP路由表容量、最大轉(zhuǎn)發(fā)數(shù)據(jù)流量、ARP或MAC地址容量等指標(biāo)。測(cè)試的工作就是把被測(cè)試設(shè)備與測(cè)試儀器連接，通過儀器構(gòu)造與規(guī)格指標(biāo)相同或略低的一項(xiàng)負(fù)載，再制造一個(gè)10%左右的異常波動(dòng)沖擊被測(cè)設(shè)備，并觀察被測(cè)設(shè)備在加載超載負(fù)荷前、負(fù)荷中和恢復(fù)到初始設(shè)定負(fù)荷之后的實(shí)際表現(xiàn)。

不受壓力影響和能快速恢復(fù)的設(shè)備是可能被制造出來的，但是代價(jià)是必然提高硬件和軟件成本。因此一個(gè)合理的可接受的壓力反應(yīng)和恢復(fù)時(shí)間，往往需要根據(jù)用戶的使用場(chǎng)景和可承受成本綜合考慮。

4、內(nèi)存耗盡測(cè)試

與硬件發(fā)生故障類似，軟件所要面對(duì)的另一種是情況是資源枯竭。因?yàn)檐浖鲿车剡\(yùn)行需要依賴很多外部資源，其中包括：內(nèi)存、定時(shí)器、隊(duì)列、文件句柄、Socket等等。這些資源中最關(guān)鍵的就是內(nèi)存，因?yàn)楹芏噘Y源不足可以等待，內(nèi)存短缺會(huì)導(dǎo)致立即的操作失敗。一個(gè)復(fù)雜的軟件系統(tǒng)內(nèi)存資源都是動(dòng)態(tài)申請(qǐng)和釋放的， 在各個(gè)處理進(jìn)程之間動(dòng)態(tài)流轉(zhuǎn)。在突發(fā)任務(wù)占用大量?jī)?nèi)存的情況下，其他任務(wù)就可能面臨資源枯竭。一個(gè)良好設(shè)計(jì)的軟件系統(tǒng)需要設(shè)定內(nèi)存門限，一旦內(nèi)存消耗達(dá)到門限會(huì)強(qiáng)制一些不重要的任務(wù)退出運(yùn)行而釋放資源。而且所有申請(qǐng)內(nèi)存的任務(wù)需要自身設(shè)計(jì)保護(hù)代碼，避免沒有申請(qǐng)成功時(shí)誤入歧途。

資源耗盡的情況下軟件系統(tǒng)必然會(huì)產(chǎn)生一些功能受限的反應(yīng)，只要這種情況能在資源充足后得到恢復(fù)就不構(gòu)成嚴(yán)重問題。確認(rèn)系統(tǒng)在資源不足時(shí)沒有異常反映，合理屏蔽了次要功能，同時(shí)確保高優(yōu)先級(jí)進(jìn)程得到應(yīng)得的資源就是軟件測(cè)試所要做的工作。

測(cè)試手段通常是啟動(dòng)一些重要的功能和構(gòu)造動(dòng)態(tài)的運(yùn)行負(fù)荷，然后用調(diào)試命令占用內(nèi)存或啟動(dòng)一些消耗型任務(wù)占用內(nèi)存，以構(gòu)造資源耗盡的條件，觀察被測(cè)系統(tǒng)在內(nèi)存枯竭后的反應(yīng)，并繼續(xù)進(jìn)行操作。最后再通過釋放占用的內(nèi)存來恢復(fù)正常條件，觀察系統(tǒng)受影響的功能是否自動(dòng)恢復(fù)。

內(nèi)存耗盡測(cè)試的原理非常簡(jiǎn)單，但是因?yàn)閯?dòng)態(tài)分配內(nèi)存的指令無處不在，測(cè)試覆蓋各種流程分支就要設(shè)定各種組合條件，存在很大執(zhí)行的難度。內(nèi)存耗盡測(cè)試可能發(fā)現(xiàn)長(zhǎng)期隱藏于軟件中的嚴(yán)重問題，徹底解決這些問題，對(duì)軟件的可靠性有很重要的意義。

5、拷機(jī)測(cè)試

由于軟件固有的邏輯復(fù)雜性和系統(tǒng)測(cè)試手段的限制，有些問題只有在實(shí)際環(huán)境下經(jīng)過足夠長(zhǎng)時(shí)間運(yùn)行才會(huì)出現(xiàn)?？綑C(jī)測(cè)試就是在實(shí)驗(yàn)室模擬設(shè)備運(yùn)行的真實(shí)工作場(chǎng)景，通過規(guī)定負(fù)荷及偶發(fā)性過載條件下連續(xù)運(yùn)行，觀測(cè)被測(cè)設(shè)備連續(xù)無故障運(yùn)行時(shí)間，俘獲異常錯(cuò)誤的測(cè)試。

測(cè)試所構(gòu)造的工作場(chǎng)景能否還原真實(shí)應(yīng)用，是能否提早發(fā)現(xiàn)問題的關(guān)鍵。由于用戶的應(yīng)用場(chǎng)景千差萬別，需要用很多設(shè)備搭建組網(wǎng)來還原，而且必須等候足夠長(zhǎng)的時(shí)間，這是一種高成本的測(cè)試方式，卻又不可替代。測(cè)試人員一般會(huì)采用頻繁觸發(fā)設(shè)備狀態(tài)變化的手段加速問題出現(xiàn)，這對(duì)某些問題有效，卻可能隱蔽另外一些問題。

H3C的每個(gè)產(chǎn)品都要經(jīng)過嚴(yán)格測(cè)試，其中必須進(jìn)行的一項(xiàng)就是長(zhǎng)時(shí)間的拷機(jī)環(huán)境測(cè)試。設(shè)備被接入一個(gè)運(yùn)行各種拓?fù)涔芾韰f(xié)議和有大量背景流量的模擬環(huán)境，以驗(yàn)證設(shè)備在典型應(yīng)用環(huán)境下7*24小時(shí)的穩(wěn)定運(yùn)行。即使產(chǎn)品已經(jīng)在市場(chǎng)正式投入使用，這套拷機(jī)環(huán)境還會(huì)持續(xù)運(yùn)行，并且經(jīng)常調(diào)整流量和業(yè)務(wù)規(guī)劃，以期覆蓋更多的用戶應(yīng)用環(huán)境。

6、收斂指標(biāo)測(cè)試

對(duì)網(wǎng)絡(luò)設(shè)備而言，保證網(wǎng)絡(luò)通暢是其最重要的功能之一。因此，網(wǎng)絡(luò)設(shè)備除保障自身連續(xù)運(yùn)行外，還專門設(shè)計(jì)了很多從環(huán)境故障中恢復(fù)網(wǎng)絡(luò)連通性的協(xié)議。有些則是針對(duì)自身發(fā)生異常時(shí)實(shí)現(xiàn)冗余硬件切換，流量路徑切換或快速故障恢復(fù)的協(xié)議。針對(duì)這些情況，有一個(gè)通用的度量指標(biāo)，即網(wǎng)絡(luò)收斂指標(biāo)，是通過網(wǎng)絡(luò)中斷服務(wù)（或故障恢復(fù)）時(shí)間來考察設(shè)備或網(wǎng)絡(luò)提供的可靠性。

任何一種網(wǎng)絡(luò)路由協(xié)議或拓?fù)涔芾韰f(xié)議都是為了在動(dòng)態(tài)變化的網(wǎng)絡(luò)中提供一個(gè)可行的流量路徑而設(shè)計(jì)的，所以收斂是一個(gè)基本屬性。從注入拓?fù)渥兓蚬收习l(fā)生的時(shí)間開始，網(wǎng)絡(luò)服務(wù)和數(shù)據(jù)流量受到影響，在拓?fù)涫諗亢舐窂角袚Q到備份網(wǎng)絡(luò)上，恢復(fù)網(wǎng)絡(luò)服務(wù)和流量所經(jīng)歷的時(shí)間就是收斂時(shí)間。為加速收斂而提出的一些附加技術(shù)可以使收斂時(shí)間縮短到毫秒級(jí)甚至在設(shè)備主控發(fā)生重啟等情況下提供不中斷的轉(zhuǎn)發(fā)服務(wù)。

圖4 IGP路由收斂測(cè)試組網(wǎng)圖

IGP收斂的測(cè)試實(shí)例。

如圖4所示，被測(cè)試設(shè)備首先從B和C端口學(xué)習(xí)到大量的IGP路由信息，其中B端口的度量值優(yōu)于C端口。測(cè)試儀器用穩(wěn)定的流量由A端口發(fā)送，被測(cè)設(shè)備轉(zhuǎn)發(fā)到B端口。測(cè)試儀器通過在B端口模擬拓?fù)渥兓?，撤銷一部分路由信息，受影響的流量開始丟失。被測(cè)試設(shè)備在完成路由計(jì)算后將這些流量重新路由到C端口上。測(cè)試儀器通過計(jì)算這個(gè)過程丟失的數(shù)據(jù)流量和發(fā)送速率折算收斂過程經(jīng)歷的時(shí)間。