使用FPGA和IP Core實(shí)現(xiàn)定制緩沖管理

在通信網(wǎng)絡(luò)系統(tǒng)中，流量管理的核心是緩存管理、隊(duì)列管理和調(diào)度程序。本文結(jié)合使用FPGA及IP Core闡述緩存管理的結(jié)構(gòu)、工作原理及設(shè)計(jì)方法

目前硬件高速轉(zhuǎn)發(fā)技術(shù)的趨勢是將整個轉(zhuǎn)發(fā)分成兩個部分：PE(Protocol Engine，協(xié)議引擎)和TM(Traffic Management，流量管理)。其中PE完成協(xié)議處理，TM負(fù)責(zé)完成隊(duì)列調(diào)度、緩存管理、流量整形、QOS等功能，TM與轉(zhuǎn)發(fā)協(xié)議無關(guān)。

隨著通信協(xié)議的發(fā)展及多樣化，協(xié)議處理部分PE在硬件轉(zhuǎn)發(fā)實(shí)現(xiàn)方面，普遍采用現(xiàn)有的商用芯片NP(Network Processor，網(wǎng)絡(luò)處理器)來完成，流量管理部分需要根據(jù)系統(tǒng)的需要進(jìn)行定制或采用商用芯片來完成。在很多情況下NP芯片、TM芯片、交換網(wǎng)芯片無法選用同一家廠商的芯片，這時(shí)定制TM成為了成本最低、系統(tǒng)最優(yōu)化的方案，一般采用FPGA來實(shí)現(xiàn)，TM的常規(guī)結(jié)構(gòu)如圖1所示。

圖1  TM的常規(guī)結(jié)構(gòu)圖

目前主流的TM接口均為SPI4-P2接口形式，SPI4-P2接口信號速率高，TCCS(Channel-to-channel skew，數(shù)據(jù)通道的抖動，包含時(shí)鐘的抖動)難以控制，在常規(guī)情況下很難做到很高的速率。SPI4-P2接口為達(dá)到高速率同時(shí)避免TCCS問題在很多情況下都對接收端提出了DPA(動態(tài)相位調(diào)整)的要求。對于SPI4-P2接口形式可直接采用Altera公司的IP Core實(shí)現(xiàn)。Altera的主流FPGA均實(shí)現(xiàn)了硬件DPA功能，以Stratix II器件為例，在使能DPA的情況下使用SPI4-P2 IP Core可實(shí)現(xiàn)16Gb/s的接口數(shù)據(jù)速率。

SEG模塊為數(shù)據(jù)切分塊，根據(jù)交換網(wǎng)的數(shù)據(jù)結(jié)構(gòu)要求，在上交換網(wǎng)的方向上負(fù)責(zé)把IP包或數(shù)據(jù)包切分為固定大小的數(shù)據(jù)塊，方便后期的存儲調(diào)度以及交換網(wǎng)的操作處理，SEG模塊可配合使用SPI4-P2 IP Core來實(shí)現(xiàn)。與SEG模塊對應(yīng)的是RSM模塊，RSM模塊將從交換網(wǎng)下來的數(shù)據(jù)塊重新組合成完整的IP包或數(shù)據(jù)包。

BM(Buffer Management)模塊為緩沖管理模塊，管理TM的緩沖單元，完成DRAM的存取操作。外部DRAM的控制部分可使用使用DDR SDRAM IP Core實(shí)現(xiàn)。

QM模塊為隊(duì)列管理模塊，負(fù)責(zé)完成端口的數(shù)據(jù)隊(duì)列管理功能，接收BM模塊讀寫DRAM時(shí)的數(shù)據(jù)入隊(duì)、出隊(duì)請求，TM所能支持的數(shù)據(jù)流的數(shù)目、業(yè)務(wù)類型數(shù)目、端口的數(shù)目等性能指標(biāo)在QM模塊處體現(xiàn)出來。

Scheduler模塊為調(diào)度模塊，根據(jù)數(shù)據(jù)包類型及優(yōu)先級和端口分配的帶寬進(jìn)行調(diào)度，TM流量整形、QOS等功能通過調(diào)度模塊實(shí)現(xiàn)。

CELL_EDIT模塊完成輸出數(shù)據(jù)的封裝，把由DRAM中讀出的數(shù)據(jù)封裝后發(fā)送出去。

在TM中需要基于數(shù)據(jù)服務(wù)策略對于不同服務(wù)等級的數(shù)據(jù)包進(jìn)行不同的管理策略，同時(shí)要保證流媒體的數(shù)據(jù)包不能亂序，數(shù)據(jù)包有大有小，經(jīng)過SEG模塊所分割成的數(shù)據(jù)塊的數(shù)目也有多有少，這樣就必須有一套行之有效的數(shù)據(jù)結(jié)構(gòu)基于鏈表的方法管理這些數(shù)據(jù)。QM模塊基于業(yè)務(wù)、數(shù)據(jù)流的方式管理隊(duì)列，包的管理便由BM模塊完成。

BM模塊中基于包的數(shù)據(jù)結(jié)構(gòu)方面由兩部分構(gòu)成：BRAM和PRAM。BRAM為數(shù)據(jù)緩沖區(qū)，對應(yīng)片外的DRAM。BRAM負(fù)責(zé)存儲數(shù)據(jù)單元，相對于SEG模塊切分的數(shù)據(jù)單元，BRAM內(nèi)有相應(yīng)大小的存儲單元BCELL與之對應(yīng)，BCELL在BRAM內(nèi)以地址空間劃分，每個BCELL相同大小，BCELL為BRAM的最小存取單元。在實(shí)際系統(tǒng)中基于SEG模塊切分的數(shù)據(jù)單元大小，BCELL一般為64～512B。

PRAM為指針緩沖區(qū)，PRAM對應(yīng)片外的SSRAM。PRAM內(nèi)部同樣以地址空間分為PCELL，PCELL與BCELL一一對應(yīng)，每一個PCELL對應(yīng)于一個BCELL，對應(yīng)的PCELL與BCELL地址相同。

PCELL的地址對應(yīng)的代表相應(yīng)單元的BCELL的地址，PCELL中的基本信息是下一跳指針。PRAM與BRAM關(guān)系如圖2所示。

圖2  PRAM與BRAM關(guān)系圖

在PRAM中存在兩種鏈表形式，PQ List代表已經(jīng)存儲的數(shù)據(jù)包鏈表。為方便數(shù)據(jù)讀出，PQ List需要記錄數(shù)據(jù)包的第一個數(shù)據(jù)塊地址，即首指針Pq_Hptr，為方便新的數(shù)據(jù)寫入，PQ List需要記錄數(shù)據(jù)包的最后一個數(shù)據(jù)塊地址，即尾指針Pq_Tptr。PQ List同時(shí)需要記錄該鏈表的長度作為調(diào)度模塊進(jìn)行調(diào)度的權(quán)值計(jì)算使用。

Free List代表空閑的地址隊(duì)列。為方便地辨識、管理空閑的地址，避免地址沖突，在BM中將所有空閑的地址使用一個鏈表進(jìn)行管理。這個鏈表就是空閑地址隊(duì)列?？臻e地址隊(duì)列依據(jù)系統(tǒng)需求的不同有著不同的形式，一般空閑地址隊(duì)列的構(gòu)成和PQ List相似，由空閑地址首指針Free_Hptr和空閑地址尾指針Free_Tptr構(gòu)成。BM模塊的所有操作都圍繞著空閑的地址隊(duì)列Free List進(jìn)行。

基于BM模塊的數(shù)據(jù)流結(jié)構(gòu)，BM模塊一般分為Write Control模塊、Free List control模塊、Read Control模塊、PRAM Control模塊、BRAM Control模塊。BM的結(jié)構(gòu)如圖3所示。

圖3  BM結(jié)構(gòu)圖

Write Control模塊從Free List模塊處得到空閑地址，向BRAM Control模塊提出寫請求，同時(shí)更新PRAM中的內(nèi)容。Free List control模塊負(fù)責(zé)管理空閑地址列表，提供Write Control模塊的寫B(tài)RAM地址及PRAM地址，回收經(jīng)Read Control模塊讀出數(shù)據(jù)塊后釋放的地址。Read Control模塊根據(jù)調(diào)度器的調(diào)度結(jié)果，通過BRAM Control模塊讀出需要發(fā)送的數(shù)據(jù)單元，同時(shí)將釋放的緩沖單元地址寫入空閑地址列表。PRAM Control模塊為外部SSRAM的控制模塊，可直接使用參考設(shè)計(jì)完成。BRAM Control模塊為外部DRAM控制模塊，一般分為Datapath與Controler兩個子模塊。Datapath模塊專門負(fù)責(zé)數(shù)據(jù)接口部分，完成DRAM接口的DQ、DQS處理以及相應(yīng)的延時(shí)調(diào)整，Controler模塊負(fù)責(zé)完成DRAM的控制需求。

在BM模塊中，BRAM的帶寬與PRAM的帶寬一般為TM的瓶頸。PRAM的帶寬主要受限于訪問的次數(shù)，而BRAM的帶寬受限于接口帶寬。例如對于一個10G的TM，BRAM的有效帶寬必須保證20G，以接口利用率最差只能達(dá)到65%計(jì)算(考慮SEG模塊切分信元出現(xiàn)的N+1問題)，需要保證接口帶寬達(dá)到30G。使用64位的DRAM接口，接口速率不能低于500MB/s，這樣對Datapath模塊的設(shè)計(jì)提出了更高的要求。在實(shí)際系統(tǒng)中，BRAM主要使用DDR SDRAM、DDR II SDRAM。

當(dāng)使用Stratix II FPGA，BRAM使用DDR II SDRAM時(shí)，測試表明DDR II SDRAM接口速率可達(dá)到800MB/s。在常規(guī)使用的情況下，DDR II SDRAM接口速率可保證達(dá)到667MB/s。對于一個64位的DRAM接口，接口速率可達(dá)到42.7GB/s，完全可以滿足一個10G的TM系統(tǒng)。

BM模塊作為緩沖管理模塊，緩沖的基本單元為BCELL，基于對BCELL的管理，對于BM的操作都牽涉到空閑地址隊(duì)列的操作以及鏈表的操作。最基本的操作就是寫入操作和讀出操作。BM模塊的寫入操作由Write Control模塊發(fā)起。

對于Write Control模塊，有數(shù)據(jù)單元需要寫入，首先向Free List模塊申請空閑地址，F(xiàn)ree List將首指針a給Write Control模塊，作為該數(shù)據(jù)塊的寫地址，同時(shí)讀出首指針a對應(yīng)在PRAM中的內(nèi)容，得到下一跳地址b，將下一跳地址b作為新的空閑地址首指針。

PQ List將尾指針n更新為新寫入的地址a，同時(shí)更新PRAM中n地址的內(nèi)容，將a作為下一跳添入n地址?；诠?jié)省操作周期，NULL的內(nèi)容保留原值，不再更新。這樣，一次BRAM的寫入操作需要一次PRAM的讀取操作及一次PRAM的寫入操作。

QM模塊接收調(diào)度模塊的出隊(duì)信息，將出隊(duì)的PQ鏈表信息傳送給BM模塊進(jìn)行讀取操作。

圖4  BM模塊的寫入操作

圖5  讀出操作的Free List堆棧結(jié)構(gòu)

BM模塊的讀取操作由Read Control模塊發(fā)起完成，當(dāng)有數(shù)據(jù)單元需要讀出，相應(yīng)的數(shù)據(jù)單元地址則需要回收進(jìn)入空閑地址隊(duì)列Free List。對于不同的系統(tǒng)需求，空閑地址隊(duì)列Free List有不同的形式。比較簡單的操作是將Free List作為堆棧形式使用。

Read Control模塊由PQ List的首地址0讀出相應(yīng)的BRAM中的內(nèi)容，同時(shí)讀出PRAM中對應(yīng)的下一跳地址1，更新地址1為新的首地址。Free List將首指針a更新為剛釋放的地址0，同時(shí)地址0中寫入下一跳指針a。這樣一次BRAM的讀出操作需要一次PRAM的讀取操作及一次PRAM的寫入操作。

作為堆棧形式的空閑地址隊(duì)列在實(shí)際操作中會把一部分空閑地址隊(duì)列放入片內(nèi)緩沖中。這樣在讀BRAM釋放地址進(jìn)入空閑地址隊(duì)列時(shí)可以節(jié)省PRAM的一次寫入操作，在寫B(tài)RAM時(shí)申請空閑地址時(shí)可以節(jié)省PRAM的一拍讀取操作。PRAM堆棧結(jié)構(gòu)下內(nèi)置空閑地址隊(duì)列表如圖6所示。

圖6  PRAM堆棧結(jié)構(gòu)下內(nèi)置空閑地址隊(duì)列表

以圖5的讀出操作為例，當(dāng)Read Control模塊由PQ List的首地址0讀出相應(yīng)的BRAM中的內(nèi)容，同時(shí)讀出PRAM中對應(yīng)的下一跳地址1，更新地址1為新的首地址。這時(shí)，地址0為已經(jīng)釋放的地址，按空閑隊(duì)列的操作要求，地址0需要進(jìn)入空閑地址隊(duì)列中，在寫操作時(shí)再將地址0讀出提供給Write Control模塊用于寫B(tài)RAM。而基于圖6的結(jié)構(gòu)，地址0在被釋放后不再進(jìn)行更新PRAM中的空閑地址隊(duì)列Free List的操作，直接寫入片內(nèi)緩沖中，在Write Control模塊申請地址時(shí)由片內(nèi)緩沖中讀出提供給Write Control模塊 。僅在片內(nèi)Free List緩沖幾乎滿時(shí)，進(jìn)行PRAM中的空閑地址隊(duì)列Free List的更新操作，或在片內(nèi)Free List緩沖空時(shí)進(jìn)行PRAM中的空閑地址隊(duì)列Free List的讀取操作。基于圖6的結(jié)構(gòu)，在一個讀寫周期內(nèi)，可以節(jié)省兩次PRAM的操作，在最壞情況下也可節(jié)省一次PRAM的操作。但基于堆棧的結(jié)構(gòu)，棧頂?shù)牡刂繁桓哳l率的反復(fù)的調(diào)用，棧底的地址很難被使用，DRAM的工作壽命會因此受到影響。為保證DRAM的工作壽命，在有些系統(tǒng)中將空閑地址隊(duì)列Free List做成鏈表形式，從而保證每個DRAM的存儲空間都能被平均的使用。讀出操作的Free Lis鏈表結(jié)構(gòu)如圖7所示。

圖7  讀出操作的Free Lis鏈表結(jié)構(gòu)

Read Control模塊由PQ List的首地址0讀出相應(yīng)的BRAM中的內(nèi)容，同時(shí)讀出PRAM中對應(yīng)的下一跳地址1，更新地址1為新的首地址。

Free List相對于堆棧模式增加尾指針d。Free List在回收地址時(shí)維持首指針a不變，將尾指針d更新為剛釋放的地址0，同時(shí)地址d中寫入下一跳指針0。這樣一次BRAM的讀出操作同樣需要一次PRAM的讀取操作及一次PRAM的寫入操作。對于鏈表方式的空閑地址隊(duì)列Free List，在每個讀、寫周期必須進(jìn)行兩次PRAM的寫入操作及兩次PRAM的讀取操作，PRAM的效率不高。

針對兩種空閑地址隊(duì)列的效率及對DRAM的影響，在很多系統(tǒng)中采用了折中的方法，即在PRAM中使用鏈表方法管理空閑地址隊(duì)列Free List，在片內(nèi)采用堆棧模式另建一個空閑地址隊(duì)列Free List，在這種情況下，每個讀、寫周期需要三次PRAM的操作。

在實(shí)際系統(tǒng)中，BRAM的帶寬與PRAM的帶寬一般為TM的瓶頸，PRAM主要受限于訪問的次數(shù)，而BRAM受限于接口帶寬。

在10G的TM系統(tǒng)中，片內(nèi)數(shù)據(jù)總線的位寬定為128位，系統(tǒng)時(shí)鐘定為150MHz，BCELL的大小定為64B。在這種情況下，讀取操作和寫入操作均為4個時(shí)鐘周期。在滿足10G系統(tǒng)的需求下，讀取、寫入操作周期為7個時(shí)鐘周期。在前面曾計(jì)算過，在滿足10G TM系統(tǒng)的情況下，BRAM采用64位 DDR II SDRAM，接口時(shí)鐘使用250MHz即可滿足數(shù)據(jù)接口的需求。PRAM采用32位ZBT SRAM ，接口時(shí)鐘使用系統(tǒng)時(shí)鐘，每個PCELL為64位，每個讀、寫周期需要6個時(shí)鐘周期完成。在實(shí)際系統(tǒng)中采用Altera FPGA，BM的設(shè)計(jì)可以滿足10G的TM線速工作的需求。

在40G核心網(wǎng)的TM系統(tǒng)中，片內(nèi)數(shù)據(jù)總線的位寬為256位，系統(tǒng)時(shí)鐘采用250MHz(在40GE的系統(tǒng)中可選用200MHz)。采用DDR II SDRAM，接口時(shí)鐘使用333MHz，則192位的BRAM可以滿足40G的TM需求。此時(shí)，BCELL可為96B、192B、384B，在這里選用192B。當(dāng)BCELL選用192B時(shí)，讀取操作和寫入操作同樣均為6個時(shí)鐘周期。在滿足40G系統(tǒng)的需求下，讀取、寫入操作周期為9個時(shí)鐘周期。PRAM采用48位QDR SRAM，接口時(shí)鐘使用150MHz，每個PCELL為96位，在每個讀、寫時(shí)鐘周期內(nèi)，PRAM最多可被操作5次。在采用Altera FPGA的情況下，BRAM采用192位 DDR II SDRAM，PRAM采用48位QDR SRAM，BM的設(shè)計(jì)可以滿足40G的TM線速工作的需求。