手機自動化測試技術漫談及OPhone自動化測試概覽

黑盒測試

相對于白盒測試而言，黑盒測試指的是通過外部指令驅動手機并通過外部方式進行測試結果校驗的測試方式，即不考慮系統本身提供的自動化測試能力，所有的測試行為均在系統外部進行。比較典型的自動化黑盒測試方案是：通過手機操作系統對外提供的接口向手機發(fā)送觸屏、按鍵等指令控制手機執(zhí)行各種操作，同時將特定操作步驟執(zhí)行后的手機當前屏幕顯示做截圖，再將截圖數據通過圖像對比或OCR的方式進行結果校驗。

黑盒測試方式多被手機廠商或獨立的手機自動化測試工具提供商所采用。像諾基亞在S40平臺上使用的Austere C、在S60平臺上使用的ART2、摩托羅拉在非智能機平臺上使用的FlexAuto、索愛在多個產品平臺上使用的BRAT、獨立軟件開發(fā)商BSQUARE公司的CountDown均屬于黑盒自動化測試系統。

圖3 BSQUARE公司的CountDown

黑盒測試方式不受操作系統內部特性的限制(如可以避免跨進程操作的限制)，對手機操作系統本身是否具備高級的自動化測試能力也沒有很高的要求;測試腳本可以采用描述性語言，而且可以提供簡單易用的圖形化操作界面，降低了使用門檻，有利于自動化測試在測試團隊中的大范圍推廣。但由于使用圖像對比或OCR的方式做結果校驗，測試腳本受UI變動的影響較大，腳本維護成本會比較高;在執(zhí)行效率、不同規(guī)格的手機適配便利性方面也不如白盒測試方式。

由于白盒測試和黑盒測試各有利弊，一般來說，在實際測試項目中，兩種測試方式會配合使用、各取所長。

OPhone的自動化測試

OPhone走的是Android+ 路線，自然繼承了Android在自動化測試方面的能力。目前OPhone在白盒自動化測試方面使用的也是JUnit+Instrumentation框架，對上述兩種白盒測試類型都能很好的支持。黑盒自動化測試方面，OPhone目前有兩套自己的黑盒測試系統A-Tool和OSTT，分別用于平臺測試的各環(huán)節(jié)(如功能測試、壓力測試、交互測試等)和OPhone專項測試中的MTBF(平均無故障時間)測試?；趦商诇y試框架共開發(fā)出近萬個測試腳本，覆蓋了大多數應用層模塊和部分底層模塊?；谝陨峡蚣荛_發(fā)的分布式測試系統和多框架集成測試系統已經投入使用或即將完成研發(fā)。同時OPhone還具有自行開發(fā)或引進的各類自動化測試工具24款，類型涵蓋了功能測試工具、壓力測試工具、性能測試工具、MTBF穩(wěn)定性測試工具、測試輔助工具和系統監(jiān)控工具。

通過構建自動化測試框架、開發(fā)自動化測試腳本、構建自動化測試系統和開發(fā)自動化測試工具，OPhone已經初步形成了較為完善的自動化測試體系。自動化測試已經應用在OPhone平臺開發(fā)流程中的各個環(huán)節(jié)，例如每日構建出來后自動執(zhí)行版本檢查，對各軟件模塊進行單元測試，對系統進行自動化功能測試和自動化系統測試，產品上市前還有自動化的MTBF測試。

由于手機產品與用戶有密切的交互，很多功能需要以測試人員的主觀感受作為檢驗結果的依據，所以人工測試仍會在手機測試工作中占主導地位。但隨著自動化測試技術的發(fā)展，會有越來越多的人工測試可以被自動化測試所替代，也會有越來越多的人工無法完成的測試任務被自動化測試所實現。如何更好的實施自動化測試，仍將會是業(yè)內關注的熱點。OPhone團隊也將繼續(xù)在此方面進行有益的探索和實踐，以此提升OPhone測試水平，更好的保障OPhone產品的質量。