PC北橋端高速采集存儲(chǔ)系統(tǒng)研究

引言

　　由于現(xiàn)在的PCI、CPCI、VME等系統(tǒng)的持續(xù)傳輸速度很難超越400MB/s,因此要完成實(shí)時(shí)、長(zhǎng)時(shí)間的采集存儲(chǔ)功能，本設(shè)計(jì)選擇實(shí)現(xiàn)一種基于PCI-E的系統(tǒng)，PCI-E是第三代接口通信協(xié)議(3GPIO)。傳統(tǒng)的PC主機(jī)北橋只有一個(gè)高速的PCI-E X16接口，本文使用帶G31北橋的芯片組的技嘉主板GA-G31M-ES2C為例來進(jìn)行討論，雖然G31-ICH7芯片組在南橋上可提供4個(gè)PCI-E ×1接口，但是由于其他I/O端口資源的占用，該主板在北橋上僅提供了一個(gè)PCI-E ×16的插槽，南橋也只提供一個(gè)PCI-E ×1插槽。因此如果只采用G31/ICH7芯片組的電腦建立一個(gè)PCI-E采集存儲(chǔ)系統(tǒng)，它只能實(shí)現(xiàn)PCI-E 1.0 單通道的采集存儲(chǔ)系統(tǒng)，帶寬就被限制在200MB/s內(nèi)。而這種格局主要是由于計(jì)算機(jī)北橋只提供一個(gè)PCI-E插槽，不能同時(shí)滿足高速采集和存儲(chǔ)的連接需要,因此擴(kuò)展主機(jī)北橋上的PCI-E接口，將整個(gè)采集存儲(chǔ)都建立在北橋上變得至關(guān)重要。

　　系統(tǒng)結(jié)構(gòu)分析

　　Intel(英特爾)公司最新的雙通道DDR3內(nèi)存以及下一代雙×16 PCI-E 2.0的計(jì)算機(jī)芯片組技術(shù)提供了一種更新的個(gè)人電腦的架構(gòu)，這些技術(shù)被應(yīng)用到X38、X48和X58等計(jì)算機(jī)芯片組中。本文以X58為例，圖1為X58芯片組的系統(tǒng)架構(gòu)。

　　圖1 X58芯片組的系統(tǒng)架構(gòu)

　　X58芯片組搭配新南橋ICH10或ICH10R，可支持四條PCI-E ×16插槽(其中兩條符合PCI-E 2.0規(guī)范)，根據(jù)通道數(shù)的要求可組成四種不同模式，當(dāng)然它只支持雙圖形處理器(GPU)協(xié)同運(yùn)行的技術(shù)CrossFire，仍不支持Scalable Link Interface(SLI)技術(shù)。SLI技術(shù)是主板能夠同時(shí)使用兩塊同型號(hào)PCI-E顯卡的一種技術(shù)，同時(shí)芯片間通信通過類似AMD HyperTransport總線技術(shù)的QPI總線技術(shù)完成，借助PCI-E通道可帶來最高25.6GB/s的雙向帶寬，而現(xiàn)在的前端總線Front Side Bus(FSB)則被徹底棄用。我們可以直接運(yùn)用X58芯片組構(gòu)建一個(gè)高速實(shí)時(shí)的系統(tǒng)，但由于現(xiàn)階段很少有能夠完全利用PCI-E ×16帶寬的采集卡，因此將資源進(jìn)行分割，利用多塊采集模塊組成一個(gè)采集系統(tǒng)，通過PCI-E Switch擴(kuò)展接口的方法可以將X58芯片組擴(kuò)展成為一個(gè)更高速、兼容更多模塊的采集存儲(chǔ)系統(tǒng)。

　　DMI(Direct Media Interface)直接媒體接口是Intel公司開發(fā)用于連接主板南北橋的總線，取代了以前的Hub-Link總線。DMI采用點(diǎn)對(duì)點(diǎn)的連接方式，時(shí)鐘頻率為100MHz，由于它基于PCI-E總線，因此具有PCI-E總線的優(yōu)勢(shì)。DMI實(shí)現(xiàn)了上行與下行各1GB/s的數(shù)據(jù)傳輸率，總帶寬達(dá)到2GB/s，但DMI還要與其他I/O設(shè)備進(jìn)行通信，因此如果選擇南橋的PCI-E端口進(jìn)行傳輸，傳輸速度將受到很大的限制，理想情況下至多只能實(shí)現(xiàn)1GB/s的傳輸存儲(chǔ)速度。因此，本系統(tǒng)在計(jì)算機(jī)中DMI以上的結(jié)構(gòu)中完成數(shù)據(jù)的傳輸和存儲(chǔ)。我們可以將連接在芯片G31 GMCH的PCI-E ×16端口通過一個(gè)PCI-E Switch進(jìn)行擴(kuò)展，擴(kuò)展后的結(jié)構(gòu)相當(dāng)于主機(jī)北橋提供了多個(gè)高速的PCI-E接口，形成一個(gè)類似于圖1中的X58架構(gòu)，從而使整個(gè)傳輸存儲(chǔ)過程不受DMI雙向2GB/s速度的影響。

　　利用北橋PCI-E擴(kuò)展技術(shù)，將所有的采集卡和存儲(chǔ)卡都連接到主機(jī)的北橋端，可使整個(gè)數(shù)據(jù)傳輸不受主機(jī)DMI等的速度瓶頸限制，如果只是使用PCI-E ×4對(duì)系統(tǒng)進(jìn)行擴(kuò)展，理想的有效數(shù)據(jù)傳輸速度也可達(dá)800MB/s，而且由于PCI-E協(xié)議是雙向同時(shí)傳輸?shù)模虼藢⒉杉ê痛鎯?chǔ)卡同時(shí)連接到一個(gè)端口并不會(huì)影響其傳輸和存儲(chǔ)的效率。

　　系統(tǒng)設(shè)計(jì)

　　PCI-E Switch

　　PCI-E Switch為整個(gè)系統(tǒng)提供擴(kuò)展端口，系統(tǒng)中所有的PCI-E接口都是通過PCI-E Switch芯片擴(kuò)展出來的，類似的可以看成將多個(gè)PCI-E插槽直接連接到主機(jī)的北橋上。圖2為含PCI-E的拓?fù)浣Y(jié)構(gòu)圖，通過Switch可以將一個(gè)上游設(shè)備口擴(kuò)展多個(gè)下游端口，此外PCI-E Switch還可以級(jí)聯(lián)。通過一個(gè)多通道的PCI-E Switch可擴(kuò)展構(gòu)建一個(gè)多采集卡多存儲(chǔ)設(shè)備的實(shí)時(shí)高速采集存儲(chǔ)系統(tǒng)。

　　圖2 含PCI-E Switch的拓?fù)浣Y(jié)構(gòu)圖

　　本方案采用的是PLX公司的一塊PCI-E Switch芯片PEX8616，它是一款可以設(shè)置4個(gè)接口并擁有16個(gè)通道的PCI-E Switch芯片，并可設(shè)置每個(gè)接口的通道數(shù)。其支持透明橋(TB)、非透明橋(NTB)兩種方式，即可以支持兩個(gè)及以上的多主機(jī)系統(tǒng)和多智能I/O端口的模塊。PEX8616每個(gè)通道含有兩個(gè)虛擬端口，且支持熱插拔。由于主要目的是將北橋上的PCI-E ×16插槽擴(kuò)展成為多個(gè)PCI-E接口。因此，本系統(tǒng)中將其分為四個(gè)PCI-E ×4的接口。端口號(hào)為0、1、5和6，將與主機(jī)連接的端口0設(shè)置為上游端口，其余三個(gè)端口則為下游端口，連接采集卡和RAID存儲(chǔ)卡。

　　PCI-E數(shù)據(jù)傳輸方式包含地址路由和ID路由等方式，PCI-E設(shè)備在系統(tǒng)中都有一個(gè)ID，根據(jù)所處的PCI總線號(hào)、設(shè)備號(hào)和功能號(hào)來確定。一個(gè)PCI-E Switch可以看成多個(gè)P2P橋的集合，并且在上游設(shè)備和下游設(shè)備之前還虛擬了一條總線。