嵌入式分布模塊控制系統(tǒng)與網(wǎng)絡(luò)的互連

3.與SAN相互連接的分布式系統(tǒng)

由于在分布式數(shù)據(jù)處理系統(tǒng)中，大量并行處理器受到總線的限制，所以可擴展一次性接口(SCI)就成為一個用于高級多處理器體系結(jié)構(gòu)的最好的系統(tǒng)區(qū)域網(wǎng)絡(luò) (SAN)而發(fā)展起來。隨后，第一個具有硬件一致性的基于SCI的高性能模塊化多處理器系統(tǒng)被開發(fā)出來。根據(jù)多級物理模型，人們提出將用于高性價比系統(tǒng)的基于標準緊湊型PC (PC-board)和鏈路模塊(如Dolphin)的高級集成化實時系統(tǒng)高效SAN體系結(jié)構(gòu)用于實驗物理研究中的高性能數(shù)據(jù)采集、控制和分布式數(shù)據(jù)處理。組建高性價比實時系統(tǒng)的一個最佳方法是使用工業(yè)計算機系統(tǒng)MB(ICS MB)、PC MB 或 cPCI/PXI，并根據(jù)實際的應(yīng)用場合通過不同的拓撲連接到SAN中。

分布式并行數(shù)據(jù)處理模型包括對稱多處理(SMP)、大規(guī)模并行處理(MPP)和機群系統(tǒng)(RMC和NUMA)。RMC(映射內(nèi)存集群)是一個在節(jié)點和通信連接之間具有內(nèi)存復(fù)制功能和內(nèi)存?zhèn)鬏敊C制的集群系統(tǒng)。

借助系統(tǒng)區(qū)域網(wǎng)絡(luò)(SAN)的鏈路模塊，分布式集成系統(tǒng)的高模塊化結(jié)構(gòu)能夠支持分布式處理器和內(nèi)存之間的高效交互作用。SAN包括以下幾個級：

1)核心級由一套內(nèi)核處理器、存儲器、I/O控制器所組成，它們之間相互連接。與同一板上的片外存儲器相比，新型單芯片微型機具有更短的通信鏈路，更易訪問和更短的數(shù)據(jù)傳輸時間。

2) 系統(tǒng)模型的緊湊型板結(jié)構(gòu)的原子級(A模塊)包括用于特定目的和一般目的的處理器。用于數(shù)據(jù)采集和控制的最簡高效實時　系統(tǒng)可以以具有單核、雙核或三核處理器的標準PC MB為基礎(chǔ)。在同一總線上，處理器模塊有數(shù)量限制。對稱多處理(SMP)是用于多處理器的基本軟件模型。

3)分子級(宏觀結(jié)構(gòu))取決于系統(tǒng)拓撲結(jié)構(gòu)。大量多處理器節(jié)點可以通過SAN(“大總線”模型)連接到大型(千處理器)系統(tǒng)中以支持分布式集成實時系統(tǒng)用于數(shù)據(jù)采集、控制和數(shù)據(jù)處理應(yīng)用。

4)分布式系統(tǒng)的相互連接基于鏈路、橋接和開關(guān)模塊(L模塊、B模塊和S模塊)。通信速度的成本比針腳和板空間的成本下降地更快。傳統(tǒng)的通信基于總線，這限制了處理器的數(shù)目。

一個可行的解決方案是在許多獨立的點對點連接上使用基于包的信號，這可以解決總線瓶頸的問題，但也帶來了新的問題——如何保持系統(tǒng)中共享內(nèi)存模型的cache一致性。

處理器模塊之間的弱相互作用基于消息傳送(以太網(wǎng))。中級相互作用基于集群中使用的外部存儲設(shè)備(磁盤、磁帶)。處理器核之間的強相互作用基于直接讀取分布式存儲器，并在SCI上實現(xiàn)，SCI也支持處理器模塊之間的弱相互作用。SCI的強相互作用包括小包交易(有回顯地發(fā)送和響應(yīng)分離的包)。包格式包括寫 xx、讀xx、移動xx和鎖定命令，此處xx表示允許的數(shù)據(jù)塊長度(數(shù)據(jù)字節(jié)數(shù)目，在數(shù)據(jù)包頭的右方)。

可擴展性是增強多處理器實時系統(tǒng)性能(與千處理器系統(tǒng)相連接)的一個問題。

SAN架構(gòu)的分布式存儲器模型能支持并行流水線數(shù)據(jù)處理(計算)作為SMP模型運行于單個地址空間。64位地址支持每個節(jié)點上的256T字節(jié)。

Cache 一致性支持分布式并行數(shù)據(jù)處理實時系統(tǒng)中所有處理器的數(shù)據(jù)可用性。實時系統(tǒng)包含有許多處理器，它們嘗試著修改單個數(shù)據(jù)或與此同時將數(shù)據(jù)的備份保存到自己的 cache中。通過軟件或硬件實現(xiàn)的一致性阻止多處理器在同一時刻嘗試修改同樣的數(shù)據(jù)。硬件一致性支持高性能(高價格)而軟件一致性則提供了高性能(低價格)。

模塊化實時系統(tǒng)的拓撲結(jié)構(gòu)應(yīng)該基于一套精選過的模塊來發(fā)展系統(tǒng)以達到最優(yōu)化地解決確定問題的目的。它應(yīng)該是個具有矩陣探測器的用于數(shù)據(jù)采集的矩陣或是用于3D圖像的3D拓撲結(jié)構(gòu)。在控制領(lǐng)域，系統(tǒng)應(yīng)該需要有個類似于大型機器(線性或環(huán)形)結(jié)構(gòu)的拓撲。

基于SAN的分布式系統(tǒng)應(yīng)該共享64位SCI地址，高16位用于在適當?shù)墓?jié)點轉(zhuǎn)發(fā)數(shù)據(jù)包。系統(tǒng)拓撲可以在簡易環(huán)、多環(huán)、橋接或交換器的基礎(chǔ)上實現(xiàn)處理器之間的并行流水線的強相互作用。SCI基于點到點的連接并支持同一時間內(nèi)所有處理器模塊的事務(wù)。商用Dolphin的L模塊提供了每秒800M字節(jié)的雙向 SCI連接用于移動大量的具有小型應(yīng)用-應(yīng)用潛力(2.3毫秒)的分布式數(shù)據(jù)并且減少了用于多點應(yīng)用的最好的可擴展性的節(jié)點控制信息。

基于網(wǎng)絡(luò)的分布式實時系統(tǒng)包括下面節(jié)點：連接到虛擬端(VS)的控制器端(CS)收集實時數(shù)據(jù)并輸出控制數(shù)據(jù)。具有一個以太網(wǎng)端口的簡易CS基于具有兩個 PCI插槽的緊湊型ICS MB用于數(shù)據(jù)采集和控制模塊。另一個端口用于擴展或另外的以太網(wǎng)連接。VS應(yīng)該支持專業(yè)級的仿真、監(jiān)測和測試。虛擬儀器和標準應(yīng)用軟件基于基本的操作系統(tǒng) (Windows、Linux)，借助于10/100M以太網(wǎng)，它們工作于連接到大量安裝有RTLinux的分布式CS的VS上。每個VS應(yīng)該能夠達到多服務(wù)器級。

可擴展模塊化實時系統(tǒng)的聯(lián)合通用模型集成了基于相互連接的網(wǎng)絡(luò)(以太網(wǎng))和SAN(SCI)的數(shù)據(jù)采集、觸發(fā)和控制系統(tǒng)。對于控制技術(shù)領(lǐng)域中的工程系統(tǒng)來說，具有兩個PCI插槽的緊湊型ICS MB (A模塊)和以太網(wǎng)是個不錯的平臺。而對于實驗物理領(lǐng)域中的高性能數(shù)據(jù)采集和觸發(fā)系統(tǒng)來說，基于嵌入式cPCI/PXI且與SAN(SCI)相互連接的節(jié)點是個不錯的平臺。