新聞中心

EEPW首頁 > 測試測量 > 設計應用 > 非結構化海量網絡數(shù)據(jù)處理技術研究

非結構化海量網絡數(shù)據(jù)處理技術研究

作者: 時間:2011-08-17 來源:網絡 收藏

摘要:為實現(xiàn)網絡化測試系統(tǒng)下非結構化網絡數(shù)據(jù)的快速分析處理,在關鍵的算法和系統(tǒng)化集成處理方面提出解決方法。采用內存映射文件方式快速讀取數(shù)據(jù),并設計了時間矩陣算法,用以快速進行同步分析處理;應用分布式中間件方式實現(xiàn)數(shù)據(jù)的并發(fā)處理和數(shù)據(jù)分發(fā),對飛行試驗采集的網絡數(shù)據(jù)進行了分析處理,使用這些算法的數(shù)據(jù)處理軟件,可以使處理效率滿足飛行試驗海量的需求。這些都為新一代機載采集系統(tǒng)應用于飛行試驗提供了技術保障。
關鍵詞:IENA;XNET/INET;PCAP;飛行試驗

飛行試驗數(shù)據(jù)處理是飛行試驗工程中非常重要的一個環(huán)節(jié),是對各類試飛數(shù)據(jù)信息進行細致、充分和全面的分析與處理,數(shù)據(jù)處理結果是飛行試驗鑒定結論的核心依據(jù)。隨著計算機網絡技術在飛行試驗測試領域的深入應用,網絡化測試技術逐漸成為飛行試驗測試技術發(fā)展的另一個核心。同時隨著現(xiàn)代飛機設計技術的發(fā)展,飛機系統(tǒng)越來越復雜,飛行試驗科目、測試參數(shù)、測試數(shù)據(jù)種類以及測試數(shù)據(jù)總量越來越多。對飛行試驗數(shù)據(jù)處理從質量、速度以及數(shù)據(jù)安全性、可靠性等方面提出了更高的要求。機載網絡化測試系統(tǒng)架構技術應用于最新的飛機測試系統(tǒng)上,該系統(tǒng)采集記錄的網絡數(shù)據(jù)記錄了飛機一個飛行試驗起落的各類測試數(shù)據(jù)信息,新一代飛機測試參數(shù)總量激增,數(shù)據(jù)總量達到上百個GB。為縮短單架次飛行試驗周期,如何高效快捷地對這些非結構化的海量網絡數(shù)據(jù)包進行同步分析處理,方便科研人員的應用,就成為必須解決的實際問題。

1 網絡化機載測試系統(tǒng)飛行試驗數(shù)據(jù)的特點
在網絡化機載測試系統(tǒng)Kam4000中,網絡數(shù)據(jù)包從采集器通過二級交換機到記錄器。第一級交換機可以有多個,二級交換機作為系統(tǒng)的時鐘接入點、遙測數(shù)據(jù)和記錄器的接入點、系統(tǒng)配置文件的加載點,結構如圖1所示。網絡數(shù)據(jù)包被記錄器完整的記錄下來,在此需要分析的是記錄器記錄的完整的網絡數(shù)據(jù)。該網絡數(shù)據(jù)是有一個個網絡數(shù)據(jù)包組成,每個網絡數(shù)據(jù)包的格式根據(jù)采集器的不同可以是不同的。

本文引用地址:http://butianyuan.cn/article/194778.htm

a.jpg


1.1 與Kam500采集系統(tǒng)的差別
現(xiàn)在大量應用于飛行試驗的Kam500機載測試系統(tǒng),采集記錄的飛行試驗數(shù)據(jù)格式為標準的PCM數(shù)據(jù)。PCM數(shù)據(jù)由重復出現(xiàn)的長幀組成,每個長幀的長度是固定的,每個長幀包含若干個短幀。網絡化機載測試系統(tǒng)Kam4000中,采集記錄的飛行試驗數(shù)據(jù)為網絡數(shù)據(jù)包格式。每個網絡數(shù)據(jù)包的大小都可以不同,并且每個網絡數(shù)據(jù)包中的參數(shù)個數(shù)也可以不同。
1.2 海量網絡數(shù)據(jù)包的格式
網絡化測試系統(tǒng)采用ARCA公司的最新采集器,采集記錄的數(shù)據(jù)格式根據(jù)采集器的不同可以是IENA,或XNET/INET網絡數(shù)據(jù)包格式。采用BCU105(IENA Ethernet Controller)支持的是IENA包結構。而采用BCU140(XNET Ethernet Controller)支持XNET/INET的同時,也支持IEN-A。在網絡化測試系統(tǒng)中IENA和XNET/INET網絡數(shù)據(jù)包以EthernetⅡ協(xié)議廣播。根據(jù)記錄器的不同,記錄的網絡數(shù)據(jù)包結構可以是PCAP格式或者IRIG106-10格式記錄。
PCAP基本格式:
文件頭 數(shù)據(jù)包頭 數(shù)據(jù)包 數(shù)據(jù)包頭 數(shù)據(jù)包 …
IRIG106-10基本格式:
文件頭 特殊字頭 數(shù)據(jù)包 特殊字頭 數(shù)據(jù)包 …
根據(jù)飛行試驗的測試特性,參照以往的模擬量在飛行實驗中記錄數(shù)據(jù)的大小,如果參數(shù)量為5 000個,一定的飛行時間內記錄的飛行試驗數(shù)據(jù)為12 GB左右。隨著飛機系統(tǒng)的復雜性的增加,應用于飛行實驗的網絡化測試系統(tǒng)需測試的飛行試驗參數(shù)也越來越多,單架次的飛行試驗記錄的模擬量數(shù)據(jù)將是現(xiàn)在的4倍、5倍甚至更多。


上一頁 1 2 3 下一頁

評論


相關推薦

技術專區(qū)

關閉