基于在線分析儀器的測(cè)試方法與測(cè)試技術(shù)

測(cè)試階段過(guò)程中需要進(jìn)行測(cè)試文檔評(píng)審和缺陷管理，這不僅可以提高測(cè)試效率，而且在項(xiàng)目管理中項(xiàng)目經(jīng)理可以根據(jù)缺陷收斂趨勢(shì)平衡產(chǎn)品質(zhì)量、項(xiàng)目進(jìn)度與成本三者關(guān)系。在測(cè)試用例設(shè)計(jì)時(shí)，需要關(guān)注逆向測(cè)試用例和可靠性測(cè)試用例的設(shè)計(jì)，這樣會(huì)更加有效地發(fā)現(xiàn)產(chǎn)品中隱藏的缺陷，從而提高產(chǎn)品質(zhì)量。

0 序言

在線分析儀器又稱過(guò)程分析儀器，是指直接安裝在工藝流程中，對(duì)被測(cè)介質(zhì)的組成成分或物性參數(shù)進(jìn)行自動(dòng)連續(xù)分析的一類儀器。為了拓展在線分析儀器的市場(chǎng)，一些公司開(kāi)始研發(fā)或改進(jìn)相應(yīng)的在線分析儀器產(chǎn)品。

若使新開(kāi)發(fā)或改進(jìn)的分析儀器能夠在用戶現(xiàn)場(chǎng)長(zhǎng)期、可靠地運(yùn)行，除了通過(guò)前期的技術(shù)預(yù)研、設(shè)計(jì)開(kāi)發(fā)及技術(shù)評(píng)審等方法保證，還需要通過(guò)產(chǎn)品測(cè)試對(duì)產(chǎn)品的功能、性能、可靠性等方面進(jìn)行驗(yàn)證，以保證產(chǎn)品質(zhì)量。目前，在線分析儀器在用戶現(xiàn)場(chǎng)暴露出的問(wèn)題主要集中在軟件bug、器件失效、EMC 問(wèn)題、測(cè)量受環(huán)境溫度影響等。根據(jù)Pareto 原則，產(chǎn)品中所有缺陷并不是都可以在測(cè)試中發(fā)現(xiàn)。但是其中的一些問(wèn)題，如軟件部分bug 和測(cè)量受環(huán)境影響等一些缺陷可以在測(cè)試階段通過(guò)加強(qiáng)測(cè)試發(fā)現(xiàn)并改進(jìn)，這不僅需要加強(qiáng)測(cè)試人員的質(zhì)量意識(shí)，更需要加深測(cè)試人員對(duì)測(cè)試?yán)碚撝R(shí)的理解和測(cè)試技術(shù)的掌握。

1 測(cè)試基本理論

1.1 測(cè)試職責(zé)

在線分析儀器測(cè)試人員角色根據(jù)負(fù)責(zé)產(chǎn)品模塊的類別不同，分可以分為軟件測(cè)試人員、硬件測(cè)試人員、產(chǎn)品測(cè)試人員和可靠性測(cè)試人員及認(rèn)證測(cè)試人員等。軟件測(cè)試人員主要負(fù)責(zé)軟件黑盒測(cè)試，硬件測(cè)試人員主要負(fù)責(zé)硬件單元測(cè)試和硬件與軟件的集成測(cè)試?？煽啃詼y(cè)試人員負(fù)責(zé)產(chǎn)品可靠性方面的測(cè)試，主要有環(huán)境測(cè)試和壽命測(cè)試等，認(rèn)證測(cè)試人員則主要負(fù)責(zé)產(chǎn)品的CMC 認(rèn)證、防爆認(rèn)證等型式試驗(yàn)相關(guān)檢測(cè)項(xiàng)目的測(cè)試。產(chǎn)品測(cè)試人員的主要職責(zé)是協(xié)助單元測(cè)試和集成測(cè)試，執(zhí)行系統(tǒng)測(cè)試、一致性測(cè)試和用戶測(cè)試等，協(xié)助分析、解決測(cè)試問(wèn)題。當(dāng)然不同公司的組織架構(gòu)會(huì)不同，測(cè)試人員職責(zé)的劃分也會(huì)不相同。目前，大多分析儀器公司軟件測(cè)試、硬件測(cè)試及可靠性測(cè)試主要由產(chǎn)品測(cè)試人員完成。

1.2 測(cè)試定義

Glenford J.Myers 在《The Art of Software Testing》中從心理學(xué)和經(jīng)濟(jì)學(xué)兩方面對(duì)測(cè)試的定義和測(cè)試原則進(jìn)行了基本的闡述，在該書(shū)中測(cè)試是指是為了發(fā)現(xiàn)錯(cuò)誤而執(zhí)行程序的過(guò)程。

目前，對(duì)于測(cè)試的定義，不同的人對(duì)其描述也略有不同。1993 年，IEEE 提出的軟件工程標(biāo)準(zhǔn)術(shù)語(yǔ)中，將軟件測(cè)試定義為：使用人工或自動(dòng)手段來(lái)運(yùn)行或評(píng)價(jià)某個(gè)系統(tǒng)或系統(tǒng)部件的過(guò)程，其目的在于檢驗(yàn)它是否滿足規(guī)定的需求或是弄清預(yù)期結(jié)果和實(shí)際結(jié)果之間的差別。盡管不同人對(duì)測(cè)試定義存在差異，然而不同的定義均明確了測(cè)試應(yīng)該是以查找缺陷為目標(biāo)的一種過(guò)程。

1.3 測(cè)試目的

測(cè)試的目的不僅是為了發(fā)現(xiàn)產(chǎn)品缺陷，而且通過(guò)分析缺陷分布特征和缺陷產(chǎn)生原因可以幫助項(xiàng)目經(jīng)理改進(jìn)當(dāng)前開(kāi)發(fā)過(guò)程中的一些問(wèn)題。同時(shí)，通過(guò)缺陷分析也能幫助我們?cè)O(shè)計(jì)出有針對(duì)性的測(cè)試用例，提高測(cè)試有效性。測(cè)試?yán)硐肽繕?biāo)是達(dá)到“產(chǎn)品零缺陷”，即使測(cè)試過(guò)程中沒(méi)有發(fā)現(xiàn)任何缺陷，該過(guò)程的測(cè)試也具有意義，完整的測(cè)試是評(píng)價(jià)產(chǎn)品質(zhì)量的有效手段。

1.4 缺陷收斂度

關(guān)于缺陷管理的理論研究起步比較晚，發(fā)展遠(yuǎn)未成熟。參考CMM5 中定義規(guī)范和目前在線分析儀器行業(yè)特點(diǎn)，將產(chǎn)品缺陷按照嚴(yán)重程度分為四級(jí)：致命、嚴(yán)重、一般和建議。

通過(guò)測(cè)試缺陷收斂趨勢(shì)能夠反映被測(cè)試產(chǎn)品的質(zhì)量變化情況，不僅可以輔助項(xiàng)目經(jīng)理進(jìn)行決策，而且也可以做為產(chǎn)品發(fā)布的一個(gè)重要參考，測(cè)試缺陷收斂度評(píng)估示例圖見(jiàn)圖1.在線分析儀器的測(cè)試缺陷收斂度可以從以下三個(gè)方面進(jìn)行評(píng)估。

1)缺陷累計(jì)發(fā)現(xiàn)數(shù);

2)各階段缺陷提交數(shù);

3)缺陷遺留數(shù)。

測(cè)試缺陷累計(jì)發(fā)現(xiàn)數(shù)趨于穩(wěn)定和各階段缺陷提交數(shù)趨近于0，表示產(chǎn)品質(zhì)量相對(duì)比較穩(wěn)定，但是并不代表產(chǎn)品質(zhì)量好。缺陷遺留數(shù)趨勢(shì)曲線下跌的時(shí)候，表示產(chǎn)品質(zhì)量有所改進(jìn)，缺陷遺留數(shù)趨勢(shì)曲線逐漸上升時(shí)，表示產(chǎn)品質(zhì)量在持續(xù)惡化。缺陷遺留數(shù)收斂趨勢(shì)曲線越趨近于0，產(chǎn)品質(zhì)量越好。

2 測(cè)試方法

根據(jù)測(cè)試人員對(duì)被測(cè)對(duì)象的了解程度來(lái)劃分，測(cè)試用例設(shè)計(jì)方法可分為白盒測(cè)試和黑盒測(cè)試。

白盒測(cè)試：又稱為結(jié)構(gòu)測(cè)試或邏輯驅(qū)動(dòng)測(cè)試，必須知道軟件或產(chǎn)品內(nèi)部工作過(guò)程，通過(guò)測(cè)試來(lái)檢測(cè)其內(nèi)部是否按照需求、設(shè)計(jì)正常運(yùn)行。通過(guò)邏輯覆蓋、路徑覆蓋等方式選擇測(cè)試用例，可以用測(cè)試覆蓋率評(píng)價(jià)測(cè)試用例。在線分析儀器一般在單元測(cè)試階段中軟件測(cè)試和硬件測(cè)試采用白盒測(cè)試方法，主要驗(yàn)證軟件流程、軟件算法是否滿足需求和硬件信號(hào)鏈路是否正確等。

黑盒測(cè)試：又稱數(shù)據(jù)驅(qū)動(dòng)測(cè)試或功能測(cè)試，是針對(duì)軟件或產(chǎn)品的功能需求進(jìn)行測(cè)試。通過(guò)測(cè)試來(lái)檢測(cè)每個(gè)功能是否符合需求，不考慮其內(nèi)部的邏輯結(jié)構(gòu)。下面介紹幾種在線分析儀器測(cè)試中常用的幾種黑盒測(cè)試方法。

2.1 等價(jià)類劃分法

測(cè)試人員應(yīng)該首先了解并掌握的功能測(cè)試相關(guān)技術(shù)是等價(jià)類劃分，理解這種技術(shù)的用法十分重要，因?yàn)樗呛芏嗥渌浖y(cè)試技術(shù)和途徑的基礎(chǔ)。等價(jià)類是某個(gè)輸入域的集合，在這個(gè)集合中每個(gè)輸入條件都是等效的，如果其中一個(gè)的輸入條件不能發(fā)現(xiàn)產(chǎn)品或軟件缺陷，那么集合中其它輸入條件進(jìn)行測(cè)試時(shí)也不會(huì)發(fā)現(xiàn)缺陷。等價(jià)類分為有效等價(jià)類和無(wú)效等價(jià)類，有效等價(jià)類就是由對(duì)產(chǎn)品規(guī)格說(shuō)明有意義的、合理的輸入數(shù)據(jù)所構(gòu)成的集合;無(wú)效等價(jià)類就是對(duì)產(chǎn)品的規(guī)格說(shuō)明不合理的或無(wú)意義的輸入數(shù)據(jù)所構(gòu)成的集合，設(shè)計(jì)測(cè)試用例時(shí)需要同時(shí)考慮這兩種等價(jià)類。

2.2 邊界值分析法

從長(zhǎng)期的測(cè)試工作經(jīng)驗(yàn)得知，大量的故障往往發(fā)生在輸入定義域或輸出值域的邊界上，而不是在其內(nèi)部。使用邊界值分析方法設(shè)計(jì)測(cè)試用例，首先應(yīng)該確定邊界情況，輸入等價(jià)類與輸出等價(jià)類的邊界，是應(yīng)該著重測(cè)試的邊界情況。邊界值分析方法的基本思想是，選取正好等于、剛剛小于或剛剛大于邊界的值作為測(cè)試數(shù)據(jù)，而不是選取等價(jià)類中的典型值或者任意值作為測(cè)試數(shù)據(jù)。在測(cè)試過(guò)程中，考慮了邊界條件的測(cè)試用例與其他沒(méi)有考慮邊界條件的測(cè)試用例相比，具有更高的測(cè)試回報(bào)率。

2.3 因果圖法

等價(jià)類劃分和邊界值分析的測(cè)試方法，主要考慮單一輸入條件，但是不考慮各個(gè)輸入條件之間的相互制約關(guān)系，也不考慮輸入條件的各種組合情況。如果考慮使用一種適合于描述多種輸入條件的組合，產(chǎn)生多個(gè)相應(yīng)動(dòng)作的測(cè)試方法，可以使用因果圖，因果圖法適用于多種條件的組合、相應(yīng)產(chǎn)生多個(gè)結(jié)果的情況。在較為復(fù)雜的情況下，這個(gè)測(cè)試方法能有效地幫助我們檢查多種條件組合下的輸出是否正確，并且設(shè)計(jì)出高效、非冗余的測(cè)試用例。

2.4 錯(cuò)誤推測(cè)法

錯(cuò)誤推測(cè)法，基于經(jīng)驗(yàn)和直覺(jué)推測(cè)產(chǎn)品中可能存在的各種錯(cuò)誤，從而有針對(duì)性的設(shè)計(jì)測(cè)試用例的方法。錯(cuò)誤推測(cè)方法的基本思想是，根據(jù)以往的工作經(jīng)驗(yàn)推測(cè)出產(chǎn)品中所有可能存在的錯(cuò)誤和容易發(fā)生錯(cuò)誤的特殊情況，根據(jù)他們選擇測(cè)試方法和設(shè)計(jì)測(cè)試用例。

當(dāng)然，還有其他一些測(cè)試方法可以在測(cè)試用例設(shè)計(jì)中使用，如：正交設(shè)計(jì)法、特殊值法、流程分析法和組合設(shè)計(jì)法等。各種測(cè)試方法各有所長(zhǎng)，應(yīng)該針對(duì)產(chǎn)品的具體需求，選擇合適的測(cè)試方法，設(shè)計(jì)高效的測(cè)試用例，有效地將產(chǎn)品中隱藏的缺陷揭露出來(lái)。 3 測(cè)試流程

根據(jù)在線分析儀器的自身特性和測(cè)試階段的先后順序，測(cè)試流程主要包括單元測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試、用戶測(cè)試、試生產(chǎn)測(cè)試和量產(chǎn)測(cè)試，測(cè)試流程圖見(jiàn)圖2.單元測(cè)試一般采用白盒測(cè)試，以單元模塊的詳細(xì)設(shè)計(jì)文檔為依據(jù)，對(duì)開(kāi)發(fā)模塊內(nèi)部功能、邏輯進(jìn)行測(cè)試。集成測(cè)試以各級(jí)子系統(tǒng)概要設(shè)計(jì)文檔為依據(jù)，對(duì)經(jīng)過(guò)單元測(cè)試的模塊進(jìn)行組合測(cè)試，所測(cè)試的內(nèi)容主要包括單元間的接口，單元集成后的功能及樣機(jī)的風(fēng)險(xiǎn)項(xiàng)目測(cè)試等。系統(tǒng)測(cè)試是主要根據(jù)產(chǎn)品包需求和產(chǎn)品相關(guān)標(biāo)準(zhǔn)，驗(yàn)證其滿足要求所規(guī)定的功能、性能、兼容性、可靠性等方面的特性。用戶測(cè)試包含α測(cè)試和β 測(cè)試，主要以事先確定的技術(shù)協(xié)議為依據(jù)，主要對(duì)可安裝性、可維護(hù)性、主要功能、主要性能等進(jìn)行驗(yàn)證，以保證產(chǎn)品達(dá)到可以交付使用的狀態(tài)。試生產(chǎn)測(cè)試對(duì)開(kāi)發(fā)產(chǎn)品進(jìn)行小批量的試生產(chǎn)，對(duì)產(chǎn)品的生產(chǎn)物料采購(gòu)、制造、檢驗(yàn)等工藝環(huán)節(jié)進(jìn)行驗(yàn)證，以確保產(chǎn)品能順利進(jìn)行批量生產(chǎn)。量產(chǎn)測(cè)試由研發(fā)測(cè)試部門(mén)對(duì)量產(chǎn)產(chǎn)品進(jìn)行抽測(cè)，主要是對(duì)產(chǎn)品的穩(wěn)定性、可靠性等長(zhǎng)周期測(cè)試項(xiàng)目以及在前面階段出現(xiàn)缺陷較多的功能、性能項(xiàng)目等進(jìn)行的測(cè)試。

在線分析儀器在某一階段下的測(cè)試工作過(guò)程可以參考圖3進(jìn)行，測(cè)試人員首先進(jìn)行測(cè)試需求分析，盡早了解被測(cè)儀器。通過(guò)分析測(cè)試需求了解測(cè)試規(guī)模、復(fù)雜程度與可能存在的風(fēng)險(xiǎn)等，測(cè)試需求越詳細(xì)，測(cè)試人員便會(huì)對(duì)所測(cè)產(chǎn)品越了解和對(duì)所要進(jìn)行的測(cè)試任務(wù)越清晰，這樣便會(huì)更有把握保證質(zhì)量與進(jìn)度。測(cè)試需求是測(cè)試計(jì)劃的基礎(chǔ)與重點(diǎn)，測(cè)試計(jì)劃是為了測(cè)試某個(gè)產(chǎn)品而制定的計(jì)劃，測(cè)試計(jì)劃應(yīng)包括：產(chǎn)品概述、測(cè)試需求說(shuō)明、測(cè)試資源配置、風(fēng)險(xiǎn)分析和測(cè)試周期等。

測(cè)試用例設(shè)計(jì)的目的是將系統(tǒng)需求具體化，提取測(cè)試需求，通過(guò)可測(cè)試的方法對(duì)每個(gè)功能點(diǎn)進(jìn)行描述。測(cè)試用例的要素應(yīng)該完整，包含用例編號(hào)、用例版本、編制人員、編制日期、測(cè)試目的、測(cè)試資源、預(yù)期結(jié)果和測(cè)試步驟等。測(cè)試用例設(shè)計(jì)時(shí)一定要關(guān)注測(cè)試步驟的可操作性和數(shù)據(jù)的具體量化指標(biāo)。

在線分析儀器測(cè)試環(huán)節(jié)中避免執(zhí)行測(cè)試之前不編寫(xiě)測(cè)試方案和測(cè)試方案未經(jīng)過(guò)評(píng)審直接執(zhí)行測(cè)試，尤其對(duì)于長(zhǎng)周期、高成本和高優(yōu)先級(jí)的項(xiàng)目測(cè)試。測(cè)試方案中需要體現(xiàn)出測(cè)試策略、測(cè)試樣機(jī)數(shù)量、測(cè)試資源、測(cè)試安排和測(cè)試用例等。目前一些公司產(chǎn)品的軟件測(cè)試大多傾向于正向測(cè)試，故在測(cè)試方案編寫(xiě)時(shí)需要多考慮設(shè)計(jì)逆向測(cè)試用例。在測(cè)試之前需要安排好測(cè)試資源，并且分析測(cè)試工裝、設(shè)備的測(cè)量不確定度及誤差。

執(zhí)行測(cè)試時(shí)先測(cè)試儀器核心功能，然后進(jìn)入性能測(cè)試階段，再進(jìn)行軟件測(cè)試(可以提前開(kāi)始)，最后進(jìn)行可靠性測(cè)試。在線分析儀器測(cè)試工作中一個(gè)非常重要的工作是可靠性測(cè)試，往往在可靠性測(cè)試工作中會(huì)暴露出產(chǎn)品一些致命、嚴(yán)重設(shè)計(jì)缺陷，在項(xiàng)目開(kāi)發(fā)中往往也是在該測(cè)試階段項(xiàng)目延期率持續(xù)增加。可靠性測(cè)試分類方法較多，常規(guī)的分類方法主要有：環(huán)境測(cè)試、壽命測(cè)試、篩選測(cè)試、現(xiàn)場(chǎng)使用測(cè)試和鑒定測(cè)試五大類。目前，在線分析儀器可靠性測(cè)試中主要進(jìn)行環(huán)境測(cè)試和壽命測(cè)試，其他三類可靠性測(cè)試還不夠深入。環(huán)境試驗(yàn)是考核產(chǎn)品在各種環(huán)境(溫度、振動(dòng)、沖擊、潮熱、鹽霧、低氣壓等)條件下的適應(yīng)能力，一般會(huì)根據(jù)產(chǎn)品包需求適當(dāng)放寬范圍進(jìn)行測(cè)試。壽命試驗(yàn)是研究產(chǎn)品壽命特征和失效規(guī)律的測(cè)試方法，將產(chǎn)品放在特定的試驗(yàn)條件下考察其失效隨時(shí)間變化特征。在線分析儀器在一些應(yīng)用場(chǎng)合下條件惡劣，不僅樣氣中存在高濃度粉塵、腐蝕性氣體，而且有時(shí)安裝位置存在高頻率振動(dòng)等，在這樣惡劣的應(yīng)用環(huán)境下尤其需要關(guān)注產(chǎn)品的可靠性。

測(cè)試報(bào)告一般是測(cè)試階段最后的輸出文檔，一份詳細(xì)的測(cè)試報(bào)告應(yīng)該包含足夠的信息，如缺陷統(tǒng)計(jì)、遺留問(wèn)題分析、產(chǎn)品質(zhì)量評(píng)估等。測(cè)試報(bào)告中出現(xiàn)問(wèn)題較多的是：測(cè)試項(xiàng)目不完整、缺陷問(wèn)題分析不夠深入、語(yǔ)言不夠簡(jiǎn)練通俗。對(duì)于長(zhǎng)周期的測(cè)試，應(yīng)在每個(gè)測(cè)試階段完成后編寫(xiě)測(cè)試報(bào)告，以免長(zhǎng)時(shí)間后遺漏重要的測(cè)試細(xì)節(jié)。

4 結(jié)論

在線分析儀器的測(cè)試是保證產(chǎn)品質(zhì)量一項(xiàng)非常重要的工作，測(cè)試人員需要掌握豐富的測(cè)試?yán)碚撝R(shí)和測(cè)試技術(shù)，合理設(shè)計(jì)測(cè)試用例才能有效地發(fā)現(xiàn)產(chǎn)品中隱藏的缺陷，尤其軟件中的逆向測(cè)試用例和產(chǎn)品可靠性測(cè)試用例的設(shè)計(jì)。在實(shí)際的工作中發(fā)現(xiàn)在線分析儀器系統(tǒng)測(cè)試階段過(guò)程，通過(guò)逆向測(cè)試用例和可靠性測(cè)試用例發(fā)現(xiàn)的缺陷數(shù)比例的確很高。隨著測(cè)試技術(shù)的發(fā)展，越來(lái)越多的測(cè)試方法會(huì)被應(yīng)用在分析儀器行業(yè)中，這將有效地提高測(cè)試效率和產(chǎn)品質(zhì)量。