VxWorks下UDP協(xié)議棧效率的研究與改進(jìn)

1 使用VxWorks標(biāo)準(zhǔn)UDP協(xié)議棧存在的問(wèn)題
在VxWorks標(biāo)準(zhǔn)的IP協(xié)議實(shí)現(xiàn)的前提下，其UDP協(xié)議的實(shí)現(xiàn)存在于IP層。在VxWorks中有一個(gè)網(wǎng)絡(luò)任務(wù)(亦即進(jìn)程)，用于完成以太網(wǎng)包的收發(fā)處理及與各種網(wǎng)絡(luò)協(xié)議的接口，其名為tNetTask，優(yōu)先級(jí)低于一般的系統(tǒng)任務(wù)而高于應(yīng)用程序任務(wù)。系統(tǒng)的上層網(wǎng)絡(luò)協(xié)議，如Telnet、FTP等，在服務(wù)器端有一個(gè)相應(yīng)的任務(wù)，處理網(wǎng)絡(luò)任務(wù)轉(zhuǎn)交過(guò)來(lái)的數(shù)據(jù)報(bào)。

應(yīng)用程序想要實(shí)現(xiàn)UDP數(shù)據(jù)報(bào)的收發(fā)，就要使用操作系統(tǒng)提供的socket編程接口，主要包括創(chuàng)建socket，綁定socket和源IP與端口號(hào)，發(fā)送UDP數(shù)據(jù)報(bào)和接收socket中收到的內(nèi)容。在VxWorks中有4個(gè)函數(shù)與之相對(duì)應(yīng)，分別是：socket()、bind()、sendto()和recvfrom()。在VxWorks操作系統(tǒng)中，socket號(hào)是與文件打開(kāi)描述符(fd)同樣管理的，一個(gè)socket與源IP和一個(gè)源端口相對(duì)應(yīng)。Sendto()函數(shù)調(diào)甩時(shí)指明目的的IP地址和服務(wù)端口號(hào)。

本文描述的UDP協(xié)議棧使用背景可簡(jiǎn)要描述如下：該系統(tǒng)使用的主要硬件CPU平臺(tái)是摩托羅拉公司的MPC860的CPU，主頻為50 MHz；操作系統(tǒng)使用美國(guó)WindRiver公司的VxWorks。系統(tǒng)中各個(gè)設(shè)備(均有以太網(wǎng)接口)之間要在以太網(wǎng)上進(jìn)行信令與語(yǔ)音、數(shù)據(jù)業(yè)務(wù)的傳輸，各種數(shù)據(jù)包采用統(tǒng)一的消息頭編碼格式。

使用標(biāo)準(zhǔn)UDP協(xié)議棧最大的問(wèn)題是效率。在該系統(tǒng)平臺(tái)上，網(wǎng)絡(luò)傳輸?shù)乃俾食蔀樽畲蟮钠款i，并由此影響了系統(tǒng)的容量。根據(jù)測(cè)試的極限速率，使用10M以太網(wǎng)的實(shí)際有效傳輸速率僅有1.8 Mb／s，使用100M以太網(wǎng)口電沒(méi)有明顯的提高。另外，還有一個(gè)問(wèn)題，網(wǎng)絡(luò)任務(wù)經(jīng)常會(huì)掛起，在開(kāi)機(jī)運(yùn)行較長(zhǎng)時(shí)間后此現(xiàn)象尤為明顯，這對(duì)系統(tǒng)的可用性和無(wú)故障工作時(shí)間構(gòu)成威脅。而項(xiàng)目的目標(biāo)是實(shí)現(xiàn)高效穩(wěn)定的以太網(wǎng)包處理。

2 改進(jìn)UDP協(xié)議棧的思想與理由
根據(jù)對(duì)VxWorks操作系統(tǒng)的研究，發(fā)現(xiàn)它對(duì)以太網(wǎng)包的處理與一般的IP協(xié)議棧有所不同。MAC層的控制由硬件寄存器來(lái)實(shí)現(xiàn)，實(shí)現(xiàn)了發(fā)送方以太網(wǎng)幀的成幀和接收的以太網(wǎng)幀頭確認(rèn)以后，通過(guò)DMA方式實(shí)現(xiàn)內(nèi)存與網(wǎng)絡(luò)介質(zhì)間的通信，網(wǎng)絡(luò)任務(wù)與硬件之間通過(guò)設(shè)備中斷進(jìn)行通信。在該操作系統(tǒng)中，有一個(gè)MUX層，它提供統(tǒng)一的發(fā)送函數(shù)，其參數(shù)為發(fā)送的網(wǎng)絡(luò)設(shè)備管理表指針和發(fā)送的數(shù)據(jù)報(bào)指針。我們知道，在一個(gè)有多個(gè)網(wǎng)絡(luò)設(shè)備同時(shí)工作的計(jì)算機(jī)系統(tǒng)中，標(biāo)準(zhǔn)的IP協(xié)議棧要完成選取從哪個(gè)網(wǎng)絡(luò)設(shè)備端口(gate way)發(fā)送和判斷ARP的Cache中是否有對(duì)端的MAC地址，從而決定是否啟動(dòng)ARP進(jìn)行解析。在VxWorks中。是通過(guò)查Route表和ARP表來(lái)完成以上兩項(xiàng)工作的。Route表中儲(chǔ)存的是與每一個(gè)通信的子網(wǎng)的gart way，ARP表中儲(chǔ)存的是已知的IP地址與MAC地址的對(duì)應(yīng)關(guān)系。另外，數(shù)據(jù)報(bào)接收的處理過(guò)程中是在IP數(shù)據(jù)報(bào)存入內(nèi)存后申請(qǐng)MUX層的隊(duì)列緩沖區(qū)，然后依次調(diào)用各上層協(xié)議的處理函數(shù)。

根據(jù)以上情況，考慮在MUX層修改UDP協(xié)議棧，在發(fā)送過(guò)程中，跳過(guò)socket接口，直接使用MUX層的發(fā)送函數(shù)。這樣，可以減少?gòu)腢DP層網(wǎng)絡(luò)數(shù)據(jù)報(bào)緩沖區(qū)到MUX層緩沖區(qū)之間的復(fù)制工作，從而提高發(fā)送效率。在接收數(shù)據(jù)包的處理過(guò)程中，在MUX層收到數(shù)據(jù)報(bào)后鉤掛(hook)一個(gè)處理函數(shù)，對(duì)UDP協(xié)議的數(shù)據(jù)包進(jìn)行分檢，優(yōu)先于其他協(xié)議的處理。這樣可減少?gòu)腗UX層緩沖區(qū)到UDP層網(wǎng)絡(luò)數(shù)據(jù)報(bào)緩沖區(qū)之間的復(fù)制，而且可以不再要求上層使用輪誨的方法檢查socket的緩沖區(qū)中的內(nèi)容，提高了處理的實(shí)時(shí)性。

3 改進(jìn)UDP協(xié)議棧出現(xiàn)的新問(wèn)題
VxWorks的muxLib類(lèi)庫(kù)中允許用戶自己定義一個(gè)協(xié)議棧，將協(xié)議棧綁定到一個(gè)具體的網(wǎng)絡(luò)端口上，同時(shí)要有一個(gè)處理函數(shù)對(duì)該網(wǎng)絡(luò)設(shè)備上收到的包進(jìn)行處理。加載改進(jìn)后的協(xié)議棧要先創(chuàng)建一組緩沖區(qū)，每種緩沖區(qū)對(duì)應(yīng)不同的數(shù)據(jù)報(bào)長(zhǎng)。預(yù)先分配一大塊內(nèi)存，可避免發(fā)送數(shù)據(jù)包時(shí)再去分配內(nèi)存，并可根據(jù)各種長(zhǎng)度的數(shù)據(jù)報(bào)的使用頻度申請(qǐng)不同個(gè)數(shù)的緩沖區(qū)。發(fā)送過(guò)程中，要填寫(xiě)IP首部的其他內(nèi)容，如協(xié)議版本號(hào)、UDP協(xié)議編號(hào)、idenfication域、IP首部校驗(yàn)和等等。在填寫(xiě)的過(guò)程中，可以有意識(shí)地按照CPU的作業(yè)寬度和整數(shù)邊界進(jìn)行內(nèi)存賦值，提高發(fā)送效率。在接收過(guò)程中，要先判斷是否為UDP協(xié)議的數(shù)據(jù)報(bào)(根據(jù)第24字節(jié)為Oxll)，然后做合法檢驗(yàn)。對(duì)本協(xié)議棧處理的數(shù)據(jù)報(bào)，處理后要將其從MUX層的緩沖區(qū)隊(duì)列中刪除，未刪除的數(shù)據(jù)報(bào)由其他協(xié)議的處理函數(shù)處理。

經(jīng)過(guò)對(duì)協(xié)議棧的改進(jìn)發(fā)現(xiàn)，在單向收發(fā)的環(huán)境下，發(fā)送效率提高了3倍左右；但是接收方效率的提高很不盡如人意，而且穩(wěn)定性仍然存在問(wèn)題，在運(yùn)行幾十小時(shí)后，網(wǎng)絡(luò)任務(wù)的掛起現(xiàn)象出現(xiàn)得仍很頻繁。關(guān)于接收方的問(wèn)題，原因是：接收方的網(wǎng)絡(luò)任務(wù)每收到一個(gè)包，從設(shè)備緩沖區(qū)搬移到應(yīng)用緩沖區(qū)，然后切換到應(yīng)用程序任務(wù)進(jìn)行處理，處理結(jié)束以后再切換到網(wǎng)絡(luò)任務(wù)收下一包，如果接收速度高于處理速度就會(huì)造成阻塞。下面舉一個(gè)形象的例子：某個(gè)酒吧只有一個(gè)服務(wù)員，假設(shè)這個(gè)服務(wù)員要做兩件事情，有顧客來(lái)的時(shí)候要到門(mén)口去給顧客開(kāi)門(mén)，然后再到柜臺(tái)為顧客服務(wù)，顧客依到達(dá)次序排隊(duì)。假設(shè)門(mén)口和柜臺(tái)之間的移動(dòng)時(shí)間不能忽略，并且為顧客開(kāi)門(mén)的優(yōu)先級(jí)比較高，就是說(shuō)如果有新顧客到來(lái)，必須先放下正在服務(wù)的顧客去開(kāi)門(mén)。在這種情況下，如果顧客的到來(lái)間隔是均勻的，為每一位顧客服務(wù)要服務(wù)員跑兩趟。如果顧客到達(dá)的間隔比較小，就出現(xiàn)服務(wù)員在門(mén)口和柜臺(tái)之間頻繁移動(dòng)的情況。假如能使顧客分撥到達(dá)，每次有多個(gè)顧客到達(dá)，服務(wù)員就可以從柜臺(tái)到門(mén)口開(kāi)門(mén)讓多個(gè)顧客進(jìn)入，再回柜臺(tái)為顧客服務(wù)。試驗(yàn)證明，在這種模型下接收效率能大幅提高，但是對(duì)均勻到達(dá)的顧客服務(wù)效率的提高難以得到解決。

4 深入網(wǎng)絡(luò)設(shè)備驅(qū)動(dòng)
經(jīng)過(guò)對(duì)操作系統(tǒng)更為深入的研究發(fā)現(xiàn)，MUX層的發(fā)送數(shù)據(jù)包最終是通過(guò)調(diào)用網(wǎng)絡(luò)設(shè)備驅(qū)動(dòng)程序中的發(fā)送函數(shù)實(shí)現(xiàn)的。分析網(wǎng)絡(luò)設(shè)備驅(qū)動(dòng)的代碼發(fā)現(xiàn)，其發(fā)送過(guò)程可描述為：

◇檢查設(shè)備緩沖區(qū)(BD表)是否有可用BD；
◇根據(jù)設(shè)備緩沖區(qū)的可用情況與發(fā)送數(shù)據(jù)包的長(zhǎng)度，判斷是否需要進(jìn)行分片；
◇根據(jù)設(shè)備緩沖區(qū)的可用情況決定傳輸發(fā)送還是拷貝發(fā)送；
◇置位設(shè)備控制寄存器，啟動(dòng)DMA傳輸，并引發(fā)設(shè)備收發(fā)中斷；
◇清除使用過(guò)的設(shè)備緩沖區(qū)。

另?yè)?jù)分析，在設(shè)備驅(qū)動(dòng)的安裝過(guò)程中完成的工作有：
◇根據(jù)配置數(shù)據(jù)申請(qǐng)內(nèi)存，構(gòu)建設(shè)備緩沖區(qū)表；
◇指定DMA使用的通道與工作方式；
◇配置設(shè)備寄存器(工作方式、幀類(lèi)型、設(shè)備緩沖區(qū)表指針等)；
◇連接設(shè)備中斷處理例程。

接收過(guò)程中，是在網(wǎng)絡(luò)設(shè)備收到數(shù)據(jù)包后啟動(dòng)DMA傳輸至內(nèi)存，并引發(fā)中斷，在中斷處理程序中處理緩沖區(qū)指針，然后將一個(gè)函數(shù)處理指針寫(xiě)入一個(gè)環(huán)型緩沖區(qū)，最后是釋放一個(gè)信號(hào)量，通知網(wǎng)絡(luò)任務(wù)對(duì)收到的數(shù)據(jù)包進(jìn)行處理。通過(guò)對(duì)該接收處理函數(shù)的反匯編解讀，發(fā)現(xiàn)它的主要工作是申請(qǐng)MUX層的緩沖區(qū)并復(fù)制，處理設(shè)備緩沖區(qū)的指針，然后調(diào)用各個(gè)協(xié)議的處理函數(shù)。

根據(jù)以上的認(rèn)識(shí)，有了一個(gè)更為大膽的設(shè)想：跳過(guò)MUX層，直接使用driver的發(fā)函數(shù)進(jìn)行發(fā)送；在接收過(guò)程中，對(duì)本協(xié)議棧的數(shù)據(jù)包不再申請(qǐng)MUX層的緩沖區(qū)，而是直接拷貝到應(yīng)用層緩沖區(qū)，并可將處理接口留給用戶。另外一個(gè)想法是，直接在中斷處理例程中進(jìn)行處理，從而徹底拋棄網(wǎng)絡(luò)任務(wù)。據(jù)此在百兆網(wǎng)絡(luò)設(shè)備上完成了修改，其效率又提高將近l倍，滿足了使用的要求；而且更為可喜的是，系統(tǒng)的穩(wěn)定性大幅提高。

5 結(jié)論與數(shù)據(jù)分析
幾種情況下的測(cè)試結(jié)果如下：

通過(guò)對(duì)上述數(shù)據(jù)的分析看出，使用MUX層的協(xié)議棧組發(fā)環(huán)境下，比使用標(biāo)準(zhǔn)協(xié)議棧發(fā)送的效率提高3倍左右，但是在均勻收發(fā)的情況下提高并不明顯。直接使用中斷方式克服了這一缺陷，比均勻收發(fā)的環(huán)境下又提高1倍。

但是這個(gè)測(cè)試結(jié)果只是在短包的情況下完成的，包長(zhǎng)在100字節(jié)以下。通過(guò)對(duì)長(zhǎng)包的測(cè)試，發(fā)現(xiàn)對(duì)512字節(jié)以上的長(zhǎng)包的影響要稍微小一些。這是因?yàn)樵谕凰俾氏拢褂瞄L(zhǎng)包調(diào)用的次數(shù)要少，改進(jìn)的效果也就稍差，特別是在CPU主頻更高的環(huán)境下，這一現(xiàn)象更為明顯。

6 對(duì)實(shí)時(shí)操作系統(tǒng)的一點(diǎn)看法
通過(guò)對(duì)設(shè)備驅(qū)動(dòng)的研究發(fā)現(xiàn)．在實(shí)時(shí)操作系統(tǒng)中，中斷處理例程的處理時(shí)間都比較短，這也是實(shí)現(xiàn)實(shí)時(shí)性的一個(gè)重要思想。在改進(jìn)中，中斷處理例程中加入了執(zhí)行代碼，會(huì)影響系統(tǒng)的實(shí)時(shí)性，似乎違背了實(shí)時(shí)操作系統(tǒng)的初衷。但筆者認(rèn)為，這個(gè)問(wèn)題要在實(shí)際的環(huán)境下進(jìn)行評(píng)價(jià)，中斷中的通知網(wǎng)絡(luò)任務(wù)與網(wǎng)絡(luò)任務(wù)的執(zhí)行，兩者加起來(lái)的時(shí)間一定要比只在中斷中處理需要的時(shí)間要長(zhǎng)。這與IP包處理機(jī)的目標(biāo)也是沒(méi)有矛盾的，完全不必拘泥陳規(guī)。實(shí)時(shí)系統(tǒng)只是追求平均的響應(yīng)時(shí)間較短，而在最差情況下則遠(yuǎn)低于平均水平。