揭秘FPGA：為什么比 GPU 的延遲低這么多？

作者：時間：2018-06-27 來源：網(wǎng)絡(luò)

加入技術(shù)交流群
- 掃碼加入
  和技術(shù)大咖面對面交流
  海量資料庫查詢

本文引用地址：http://butianyuan.cn/article/201806/382354.htm

　　▲本地和遠程的 FPGA 均可以降低搜索延遲，遠程 FPGA 的通信延遲相比搜索延遲可忽略。

　　FPGA 在 Bing 的部署取得了成功，Catapult 項目繼續(xù)在公司內(nèi)擴張。

　　微軟內(nèi)部擁有最多服務(wù)器的，就是云計算 Azure 部門了。

　　Azure 部門急需解決的問題是網(wǎng)絡(luò)和存儲虛擬化帶來的開銷。Azure 把虛擬機賣給客戶，需要給虛擬機的網(wǎng)絡(luò)提供防火墻、負載均衡、隧道、NAT 等網(wǎng)絡(luò)功能。由于云存儲的物理存儲跟計算節(jié)點是分離的，需要把數(shù)據(jù)從存儲節(jié)點通過網(wǎng)絡(luò)搬運過來，還要進行壓縮和加密。

　　在 1 Gbps 網(wǎng)絡(luò)和機械硬盤的時代，網(wǎng)絡(luò)和存儲虛擬化的 CPU 開銷不值一提。隨著網(wǎng)絡(luò)和存儲速度越來越快，網(wǎng)絡(luò)上了 40 Gbps，一塊 SSD 的吞吐量也能到 1 GB/s，CPU 漸漸變得力不從心了。

　　例如 Hyper-V 虛擬交換機只能處理 25 Gbps 左右的流量，不能達到 40 Gbps 線速，當數(shù)據(jù)包較小時性能更差;AES-256 加密和 SHA-1 簽名，每個 CPU 核只能處理 100 MB/s，只是一塊 SSD 吞吐量的十分之一。

　　▲網(wǎng)絡(luò)隧道協(xié)議、防火墻處理 40 Gbps 需要的 CPU 核數(shù)。

　　為了加速網(wǎng)絡(luò)功能和存儲虛擬化，微軟把 FPGA 部署在網(wǎng)卡和交換機之間。

　　如下圖所示，每個 FPGA 有一個 4 GB DDR3-1333 DRAM，通過兩個 PCIe Gen3 x8 接口連接到一個 CPU socket(物理上是 PCIe Gen3 x16 接口，因為 FPGA 沒有 x16 的硬核，邏輯上當成兩個 x8 的用)。物理網(wǎng)卡(NIC)就是普通的 40 Gbps 網(wǎng)卡，僅用于宿主機與網(wǎng)絡(luò)之間的通信。

　　▲Azure 服務(wù)器部署 FPGA 的架構(gòu)。

　　FPGA(SmartNIC)對每個虛擬機虛擬出一塊網(wǎng)卡，虛擬機通過 SR-IOV 直接訪問這塊虛擬網(wǎng)卡。原本在虛擬交換機里面的數(shù)據(jù)平面功能被移到了 FPGA 里面，虛擬機收發(fā)網(wǎng)絡(luò)數(shù)據(jù)包均不需要 CPU 參與，也不需要經(jīng)過物理網(wǎng)卡(NIC)。這樣不僅節(jié)約了可用于出售的 CPU 資源，還提高了虛擬機的網(wǎng)絡(luò)性能(25 Gbps)，把同數(shù)據(jù)中心虛擬機之間的網(wǎng)絡(luò)延遲降低了 10 倍。

　　▲網(wǎng)絡(luò)虛擬化的加速架構(gòu)。來源：[6]

　　這就是微軟部署 FPGA 的第三代架構(gòu)，也是目前「每臺服務(wù)器一塊 FPGA」大規(guī)模部署所采用的架構(gòu)。

　　FPGA 復(fù)用主機網(wǎng)絡(luò)的初心是加速網(wǎng)絡(luò)和存儲，更深遠的影響則是把 FPGA 之間的網(wǎng)絡(luò)連接擴展到了整個數(shù)據(jù)中心的規(guī)模，做成真正 cloud-scale 的「超級計算機」。

　　第二代架構(gòu)里面，F(xiàn)PGA 之間的網(wǎng)絡(luò)連接局限于同一個機架以內(nèi)，F(xiàn)PGA 之間專網(wǎng)互聯(lián)的方式很難擴大規(guī)模，通過 CPU 來轉(zhuǎn)發(fā)則開銷太高。

　　第三代架構(gòu)中，F(xiàn)PGA 之間通過 LTL (Lightweight Transport Layer) 通信。同一機架內(nèi)延遲在 3 微秒以內(nèi);8 微秒以內(nèi)可達 1000 塊 FPGA;20 微秒可達同一數(shù)據(jù)中心的所有 FPGA。第二代架構(gòu)盡管 8 臺機器以內(nèi)的延遲更低，但只能通過網(wǎng)絡(luò)訪問 48 塊 FPGA。為了支持大范圍的 FPGA 間通信，第三代架構(gòu)中的 LTL 還支持 PFC 流控協(xié)議和 DCQCN 擁塞控制協(xié)議。