利用FPGA和多通道光模塊組合長(zhǎng)距離傳送高速數(shù)據(jù)

目前基于銅電纜的高速串口能夠以數(shù)千兆位速率進(jìn)行數(shù)據(jù)傳送，并可通過(guò)使用多個(gè)并行通道達(dá)成超過(guò)100Gbps的數(shù)據(jù)傳輸率，不過(guò)傳送的距離卻受到限制，一個(gè)可以改善傳輸距離的作法是使用光互連來(lái)取代銅電纜，Altera和Avago公司共同發(fā)展出結(jié)合FPGA以及光發(fā)射和接收模塊的單一集成方案，可以取代銅電纜互連和多個(gè)卡邊緣光收發(fā)器。

介紹

數(shù)據(jù)中心以及互聯(lián)網(wǎng)上越來(lái)越大量的數(shù)據(jù)移動(dòng)對(duì)于嘗試趕上的基礎(chǔ)設(shè)施形成壓力，核心功能如存儲(chǔ)次系統(tǒng)、數(shù)據(jù)交換機(jī)和路由器，甚至是計(jì)算系統(tǒng)都受到輸入輸出的限制，外部數(shù)據(jù)的移動(dòng)則受限于數(shù)據(jù)可以在連接所有交換機(jī)、路由器和存儲(chǔ)陣列的電纜或其他互連機(jī)制上以多快的速度和多遠(yuǎn)的距離移動(dòng)。

目前基于銅電纜的高速串口能夠以數(shù)千兆位速率進(jìn)行數(shù)據(jù)傳送，并可通過(guò)使用多個(gè)并行通道達(dá)成超過(guò)100Gbps的數(shù)據(jù)傳輸率，但要達(dá)到如此速度需付出一個(gè)代價(jià)，那就是受到限制的傳輸距離，基本上，數(shù)據(jù)率越高所能傳送的距離就越短，除非在信號(hào)完整性、功率以及通道材料成本上做出犧牲。

為了補(bǔ)償信號(hào)的劣化，通常使用復(fù)雜的信號(hào)處理功能在發(fā)射端和接收端進(jìn)行信號(hào)均衡，這樣的方式搭配上經(jīng)過(guò)仔細(xì)設(shè)計(jì)但價(jià)格昂貴的銅電纜可以提供數(shù)米長(zhǎng)度的距離延伸，足夠讓單一機(jī)架間的設(shè)備互連，不過(guò)如果要讓數(shù)據(jù)在數(shù)據(jù)中心或網(wǎng)絡(luò)中心的機(jī)架間傳送，就需要更長(zhǎng)的電纜，在許多情況下，面臨的成本和大量電纜問(wèn)題使這種作法變得不切實(shí)際。

光互連

一個(gè)可以改善傳輸距離的方法是使用光學(xué)方式來(lái)取代銅電纜，光纖連接目前雖然已經(jīng)進(jìn)入數(shù)據(jù)通信產(chǎn)業(yè)，但許多連線(xiàn)需要非常耗電的卡邊緣光接口模塊，并仍然面臨系統(tǒng)邏輯到光模塊的電氣互連問(wèn)題，請(qǐng)參考圖1。高速串口的邏輯部分通常會(huì)在FPGA中實(shí)施，原因是這類(lèi)器件可以提供設(shè)計(jì)工程師在電路板特性、功能以及輸入輸出選擇的高靈活度，不過(guò)這樣做FPGA的引腳必須連接光模塊，無(wú)可避免地帶來(lái)電路板上的高速走線(xiàn)。

圖1：網(wǎng)絡(luò)交換機(jī)或路由器的典型電路板布局顯示輸入輸出邏輯和光模塊間的距離

FPGA的好處

FPGA的靈活度和可重配置能力使它們成為需要各種高速輸入輸出系統(tǒng)的理想方案，達(dá)到1Gbps傳送能力的高速LVDS串口和串化/解串器(SERDES)首先被集成到了FPGA中，接著是超過(guò)3Gbps的更高速度SERDES，目前FPGA已經(jīng)集成10Gbps甚至更高數(shù)據(jù)率的SERDES，舉例來(lái)說(shuō)，Altera公司的新28nm Stratix V FPGA 就可以達(dá)到28Gbps的速度。除了高速輸入輸出能力外，F(xiàn)PGA還提供有數(shù)百萬(wàn)個(gè)可配置邏輯門(mén)、大量的片上靜態(tài)存儲(chǔ)器以及其他專(zhuān)門(mén)的系統(tǒng)資源，包括處理器核心、鎖相環(huán)(PLL)、數(shù)字信號(hào)處理(DSP)方塊、PCI Express® (PCIe®)通道以及存儲(chǔ)控制器等。

所有FPGA上的資源允許設(shè)計(jì)工程師將許多系統(tǒng)功能配置到器件的邏輯電路上，縮減系統(tǒng)電路板上所需的電路數(shù)量，另外，F(xiàn)PGA的可配置特性使得設(shè)計(jì)工程師可以更改邏輯來(lái)增加或移除功能、修補(bǔ)邏輯臭蟲(chóng)或者改善性能。

圖2：對(duì)于10Gbps的數(shù)據(jù)傳送，數(shù)據(jù)可以移動(dòng)的最大距離有著大幅度差異，主要依使用的為銅電纜(紅色部分)或光接口(橘色和橙色)而定

雖然在10Gbps數(shù)據(jù)率下FPGA到光模塊的距離僅數(shù)英吋，但就算電路板上數(shù)英吋的走線(xiàn)路徑都可能損害信號(hào)的品質(zhì)，圖2顯示了10Gbps數(shù)據(jù)流可以傳送的距離會(huì)因使用的接口而有所不同，因此為了確保光模塊可以得到最佳的信號(hào)，如何將FPGA連接到光連接端口發(fā)射器輸入和接收器輸出的距離極小化就成了必須面對(duì)的挑戰(zhàn)。

集成型光封裝

為了把FPGA和光模塊間的距離極小化并降低整個(gè)芯片到模塊連結(jié)的功率和使用材料，Altera和Avago公司共同開(kāi)發(fā)了結(jié)合FPGA以及光發(fā)射和接收器模塊到單一集成封裝，可以取代多個(gè)外部卡邊緣光收發(fā)器的產(chǎn)品，如圖3中展示電路板上的藍(lán)圈部分。光學(xué)FPGA技術(shù)展示使用了Altera公司的Stratix IV GT FPGA，提供32個(gè)高速SERDES連接端口，每個(gè)端口可以達(dá)到11Gbps的數(shù)據(jù)傳輸率，并有12個(gè)連接端口直接和Avago公司的MicroPOD™光模塊連接。

12個(gè)光通道的每一個(gè)都可以獨(dú)立運(yùn)行或作為高容量通道的一部分，以方便通過(guò)高成本效益方式提供目標(biāo)帶寬，并行光學(xué)相似于使用并行通道電氣接口，例如PCI Express的多重通道達(dá)到目標(biāo)帶寬的電子信號(hào)作法。

圖3：評(píng)估電路板上包含有Altera公司的FPGA以及Avago公司的MicroPOD 12通道光發(fā)射器和接收器(紅圈部分)，電路板上還有傳統(tǒng)的卡邊緣光收發(fā)器模塊(藍(lán)圈部分)提供設(shè)計(jì)工程師進(jìn)行性能比較

通過(guò)集成高速光模塊到裝有FPGA的封裝中，Altera公司可以縮短FPGA芯片輸入輸出到光收發(fā)器輸入端的信號(hào)路徑到1英吋以下，更短的路徑可以減輕信號(hào)劣化和抖動(dòng)，因此改善了信號(hào)完整性并降低信號(hào)路徑中寄生元素所造成的數(shù)據(jù)錯(cuò)誤，進(jìn)一步說(shuō)，由于芯片到模塊的互連距離被大幅度縮短，因而FPGA和模塊的總體功耗也會(huì)降低，因?yàn)樵僖膊恍枥速M(fèi)功率來(lái)進(jìn)行傳統(tǒng)非集成芯片到模塊間互連的大幅度損耗均衡，圖4中的混合FPGA封裝保留有兩個(gè)給Avago公司MicroPOD 12通道光收發(fā)器使用的角落，其中一個(gè)提供12個(gè)發(fā)射通道，另一個(gè)則提供12個(gè)接收通道。

除了兩個(gè)插座外，F(xiàn)PGA封裝的主要改變?cè)谟谛盘?hào)的路由，不將高速輸入輸出接點(diǎn)安排在封裝引腳，而是把信號(hào)接點(diǎn)導(dǎo)到插座的接觸區(qū)域，較短的路由距離可以保持高信號(hào)完整性，并且發(fā)出的電磁干擾也非常低。

圖5中的光模塊使用LGA接點(diǎn)安裝在FPGA封裝上，間隔為0.7424mm，每個(gè)插座僅需8.2mm x 7.8mm的區(qū)塊大小，通過(guò)安裝LGA插座在FPGA的角落，Altera公司可以把SERDES和光學(xué)模塊間的距離縮短到低于1厘米，使用邊緣安裝光模塊時(shí)則需要5到50厘米，插座集成接口也帶來(lái)了可置換性、可測(cè)試性和高產(chǎn)出率。

圖5：MicroPOD光學(xué)模塊使用LGA安裝在FPGA封裝上，僅需8.2mm x 7.8mm的占用空間。

圖6：12通道光纜和PRIZM® LT連接器直接安裝在光模塊上方，這樣的組合形成了可以處理120Gbps的緊湊高速接口。

圖6中組件的光學(xué)部分包含了連接到微型MicroPOD模塊的12條光纜，在發(fā)射端，模塊包含12個(gè)低功耗850nm VCSEL激光二極管，每個(gè)二極管功耗約130mW，接收端則包含有單石GaAs PIN二極管感應(yīng)陣列，適合目標(biāo)應(yīng)用長(zhǎng)度的光纜預(yù)先連接到PRIZM® LightTurn®連接器上，將光彎折90度并把光纖對(duì)準(zhǔn)VCSEL激光，如圖左下方的模塊，PRIZM® LT連接器目前可以由多個(gè)制造商取得。

12個(gè)光通道的每一個(gè)都可以處理10.3125Gbps的數(shù)據(jù)率，因此可以得到單一模塊120Gbps的總合數(shù)據(jù)帶寬，這個(gè)高度集成模塊提供有光接口最高的連接端口密度，而低功耗更使得模塊的熱管理變得非常簡(jiǎn)單。

診斷和狀態(tài)監(jiān)測(cè)

光模塊面臨的一個(gè)設(shè)計(jì)挑戰(zhàn)是如何在發(fā)熱的FPGA裸芯片旁安裝容易受到熱影響的光部件，為了克服這個(gè)問(wèn)題，Altera公司設(shè)計(jì)了獨(dú)特的散熱方案，可以保持光纜在標(biāo)準(zhǔn)的0到70oC工作溫度范圍內(nèi)，通過(guò)建立三個(gè)獨(dú)立的散熱設(shè)計(jì)使光學(xué)組件和裸芯片熱隔離，其中每個(gè)光學(xué)次裝置有一個(gè)，裸芯片中也有一個(gè)，我們已經(jīng)證實(shí)光模塊的溫度位于目標(biāo)范圍內(nèi)。

除此之外，通過(guò)I2C總線(xiàn)通信的數(shù)字診斷監(jiān)測(cè)(DDM)電路允許設(shè)計(jì)工程師由光模塊取得診斷數(shù)據(jù)，提供的診斷信息包括光輸出功率、激光偏置電流以及接收輸入功率，這使得系統(tǒng)可以監(jiān)測(cè)光模塊的狀態(tài)，并在發(fā)生問(wèn)題時(shí)及時(shí)得知，避免系統(tǒng)發(fā)生問(wèn)題或造成停機(jī)，這些對(duì)于許多應(yīng)用，特別是經(jīng)營(yíng)連線(xiàn)中斷可能帶來(lái)數(shù)百萬(wàn)美元損失的數(shù)據(jù)中心是非常關(guān)鍵的數(shù)據(jù)。

使光學(xué)FPGA工作

對(duì)于需要大量計(jì)算以及存儲(chǔ)的應(yīng)用，例如數(shù)據(jù)中心，集成光接口到器件封裝可以取代可插入光器件并節(jié)省功耗達(dá)70%到80%，并大幅度提高連接端口密度和帶寬，在軍事、通信基礎(chǔ)設(shè)施以及廣播領(lǐng)域等背板應(yīng)用中，這些連接器可以取代昂貴的電路板材料和連接器，大幅度提升帶寬，消除使用基于銅電纜方案時(shí)的信號(hào)完整性問(wèn)題并節(jié)省功耗，如MicroPOD光發(fā)射器和接收器的光模塊在使用OM3級(jí)多模光纖時(shí)數(shù)據(jù)傳送距離可以達(dá)到100米，使用OM4級(jí)多模光纖時(shí)更可達(dá)到150米的連接距離。

嵌入式光學(xué)模塊有助于降低需要的電路板空間并改善EMI問(wèn)題，這樣的組合可以幫助降低成本并簡(jiǎn)化通過(guò)符合FCC的法規(guī)程序，使用由Molex或其他連接器公司提供的裸芯片MPO光纖多頭適配器可以通過(guò)將機(jī)箱開(kāi)口縮小到最小可能尺寸進(jìn)一步減輕EMI問(wèn)題，除此之外，相較于卡邊緣可插入模塊，非常明顯地到安裝在前面板MPO連接器的靜電放電要小上許多。

刀片服務(wù)器系統(tǒng)為提供多個(gè)服務(wù)器，如存儲(chǔ)、交換、輸入輸出、冷卻以及電源次系統(tǒng)的緊密集成密集模塊化服務(wù)器系統(tǒng)，逐漸升高的虛擬化、云計(jì)算需求，單一CPU和存儲(chǔ)器庫(kù)計(jì)算能力的持續(xù)提升，為刀片系統(tǒng)中的傳統(tǒng)輸入輸出技術(shù)帶來(lái)壓力，目前大部分系統(tǒng)在服務(wù)器刀片和輸入輸出模塊間通過(guò)復(fù)雜的電氣中介板作為高速電氣接口，請(qǐng)參考圖7，這種型態(tài)的結(jié)構(gòu)為系統(tǒng)設(shè)計(jì)工程師帶來(lái)復(fù)雜的信號(hào)完整性和熱管理挑戰(zhàn)。

刀片服務(wù)器夾層卡的電氣輸入輸出通道可以由光輸入輸出通道取代，復(fù)雜的電氣中介板則可以由簡(jiǎn)單的同等光學(xué)系統(tǒng)取代，請(qǐng)參考圖8。光學(xué)中介板提供了服務(wù)器以及系統(tǒng)中其他模塊，包括存儲(chǔ)設(shè)備、存儲(chǔ)器以及輸入輸出間的所有高速連接能力，并且沒(méi)有電氣信號(hào)完整性、串音、EMI以及ESD承受力等復(fù)雜問(wèn)題，另外，簡(jiǎn)單的光透通模塊可以介接到中介電路板上使服務(wù)器刀片直接連接外部的交換機(jī)、存儲(chǔ)設(shè)備以及存儲(chǔ)器。

圖7：在典型的刀片服務(wù)器中，多個(gè)CPU卡連接到中介板，中介板并連接提供高速輸入輸出端口的以太網(wǎng)交換機(jī)刀片

圖8：服務(wù)器刀片和夾層卡典型框圖顯示通過(guò)中介板的布局和光互連

結(jié)論

嵌入式光學(xué)技術(shù)保存了高端系統(tǒng)所需的信號(hào)完整性、簡(jiǎn)化EMI問(wèn)題、降低ESD暴露并帶來(lái)系統(tǒng)冷卻的靈活度選擇，因?yàn)楣膺B接器可以安排在接近主控ASIC甚至FPGA封裝上，進(jìn)一步說(shuō)，由于骨干通常為24到36通道寬，嵌入式光學(xué)技術(shù)可以帶來(lái)卡邊緣便利的帶寬總合，簡(jiǎn)化光纖管理以及機(jī)箱互連。
為了延伸單一FPGA或ASIC的容量，可以在多個(gè)FPGA或ASIC間配置多層級(jí)結(jié)構(gòu)，典型的例子為三級(jí)Clos結(jié)構(gòu)，雖然最新的可擴(kuò)展系統(tǒng)可以通過(guò)使用ASIC間的電氣接口在單一機(jī)箱內(nèi)達(dá)成，但大型系統(tǒng)需要多個(gè)機(jī)箱，因而需要光互連。
Altera公司的光FPGA采用嵌入式并行光學(xué)概念并轉(zhuǎn)化為更高集成度的組合，通過(guò)進(jìn)行光FPGA的工程設(shè)計(jì)，Altera和Avago公司為FPGA使用者帶來(lái)實(shí)現(xiàn)并行光接口的可能性，在使用光纜而非銅電纜進(jìn)行高速通信時(shí)，不需是光學(xué)設(shè)計(jì)的專(zhuān)家，使用者就可實(shí)現(xiàn)連接距離和帶寬的大幅度增長(zhǎng)并降低功耗。