從Facebook學習八大數(shù)據(jù)中心管理經(jīng)驗

任何希望打造高效率數(shù)據(jù)中心或者進一步為現(xiàn)有設施削減成本的企業(yè)，都不妨了解了解這套由Facebook與OCP攜手奉獻的系統(tǒng)優(yōu)化大餐。這些已經(jīng)公開的秘密沒準會在大家自己的項目中發(fā)揮意料之外的指導作用。

Facebook作為開源開放計算項目的發(fā)起者，Facebook在數(shù)據(jù)中心的創(chuàng)建及運維方面可謂睥睨天下;而最近他們剛剛在項目中公開了其基礎設施運作效率如此之高的幾大訣竅。OCP為我們提供了詳細的資料，例如高效服務器組件的規(guī)格細節(jié)及運行準則——從主板到機箱——以及硬件設施，包括供電及冷卻等信息。在俄勒岡州的Prineville聳立著Facebook堪稱藝術品的最新數(shù)據(jù)中心，而這一整套系統(tǒng)正是在這里為全世界范圍內的用戶提供服務。

任何希望打造高效率數(shù)據(jù)中心或者進一步為現(xiàn)有設施削減成本的企業(yè)，都不妨了解了解這套由Facebook與OCP攜手奉獻的系統(tǒng)優(yōu)化大餐。這些已經(jīng)公開的秘密沒準會在大家自己的項目中發(fā)揮意料之外的指導作用。

英特爾主板

OCP此次曝光了兩套英特爾主板設計及管理規(guī)范，它們在性能全面優(yōu)化之余還采用了極為簡單的工程設計方案，這使得能源利用率大大提高。V 1.0是擁有18個DIMM槽位的雙插槽主板(采用英特爾至強5500或英特爾至強5600處理器)。而V 2.0則在一塊主板上采用兩塊下一代至強處理器，等于擁有了雙倍計算密度。為了節(jié)約能源，像PCIe通道、PCI通道、USB接口、SATA/SAS端口等很少用到的功能都被直接禁用。BIOS同樣經(jīng)過嚴格調整，以確保系統(tǒng)功耗始終處于最低水平。根據(jù)規(guī)范要求，BIOS還在設定方面做出了有針對性的修改，進而使各組件以特定的速度及功率運轉。主板上配有五個熱敏元件，負責監(jiān)測CPU、PCH、輸入接口及輸出接口的溫度。若偵測到溫度過高，這些元件還會自動控制風扇轉速，以確保冷卻效果與運行狀態(tài)相吻合。

AMD主板

與英特爾主板一樣，OCP公布了兩套AMD主板規(guī)范。V 1.0規(guī)范詳細描述了擁有24個DIMM槽位的雙插槽AMD皓龍6100系列主板。而V2.0則在單塊主板上配備了兩個AMD Magny-Cours或Interlagos CPU，借以提高計算密度。AMD與英特爾主板規(guī)范中有許多相同的內容，包括針對供電優(yōu)化進行的BIOS設置以及內部熱敏元件等。兩套規(guī)范都為供電系統(tǒng)提供了直接接口，而且都配備了供電延遲機制——這就避免了同一臺服務器兩塊主板的用電量同時提高所導致的短時電流過強現(xiàn)象。經(jīng)過優(yōu)化的CPU VRM(即電壓調整模塊)則提高了電力轉換系統(tǒng)的運作效率。

94.5 %高效供電系統(tǒng)

OCP的450瓦供電系統(tǒng)通過優(yōu)化設計消除了電力轉換過程中造成的能源浪費量。它采用單電壓12.5伏直流供電、封閉式框架、自冷卻系統(tǒng)以及兩個輸入接口。其中主連接器用于接收277伏交流供電，這比傳統(tǒng)的208伏交流供電系統(tǒng)在執(zhí)行效率上更具優(yōu)勢。次要連接器則接收48伏直流供電，主要用于在停電時保持設施運轉?？偠灾?，這套新型供電系統(tǒng)的能源使用率高達94.5%。

簡潔明快、易于管理的服務器機箱

OCP機箱的主要設計特色在于簡潔明快，通過簡單的結構為兩塊定制主板及一套供電系統(tǒng)提供運行環(huán)境。由于不需要螺絲的快速裝拆組件的廣泛應用，數(shù)據(jù)中心管理員在主板安裝工作方面可謂得心應手。硬盤驅動器與冷卻風扇利用嵌入式滑軌實現(xiàn)位置變動。整個機箱高度為1.5U，充足的空間能夠容納體積更大的散熱片，進而提高設備組件的散熱效率。這套設計還允許管理員在降低功耗的同時使用尺寸更大的風扇。OCP設計的這套服務器重約6磅，甚至低于標準的1U服務器。而且根據(jù)OCP工程經(jīng)理Amir Michael的說法，管理人員可以在9分鐘之內不借助任何工具完成服務器的裝配工作。

彈簧承載下的三層機架易于移動

聊完了OCP服務器，我們再來看看Facebook為其配備的三層機架。每套三層機架由相鄰的三個42U機架縱列構成，每套三層機架都在頂端布置了兩臺交換機。三個機架縱列共能容納最多30臺服務器，也就是說三層機架的最大設備容納能力為90臺。

Facebook不希望額外的網(wǎng)絡端口帶來設計外的開支，“因此每套機架中所容納的服務器數(shù)量是經(jīng)過嚴格計算的，為的就是保證服務器與交換機端口之間保持一對一的匹配關系，”Michael解釋道。

與OCP服務器類似，機架在設計過程中也考慮到了實際應用中的維護工作：一般來說大家都會利用滑軌裝置實現(xiàn)服務器的滑入滑出，但Facebook的管理人員選擇的是彈簧式柱塞方案。他們將服務器插入鈑金機架后，再利用這些柱塞加以固定。

電池柜幫助服務器高效備份

獨立電池柜由多塊電池構成，能夠在交流電池發(fā)生中斷時為備份系統(tǒng)提供直流供電。通過由線纜與插座組成的簡單連接系統(tǒng)，每個電池柜與兩套三層機架相連。電池柜中包含一個交/直流整流器用以為電池充電，同時還配備了電池狀態(tài)監(jiān)測器。當某塊電池需要被換掉時，監(jiān)測器會自動通過網(wǎng)絡發(fā)送提醒，這樣技術人員就能夠有針對性地解決問題。這套電池系統(tǒng)的執(zhí)行效率為99.5%，Michael告訴我們;而傳統(tǒng)的UPS系統(tǒng)則只能達到90%到95%。

電路系統(tǒng)：減少電力轉換過程中的浪費

Facebook為俄勒岡州Prineville數(shù)據(jù)中心采用的是OCP的高效電路系統(tǒng)。整個體系由一套48伏直流UPS系統(tǒng)與一套227伏交流服務器供電系統(tǒng)組合而成。它最大的特色在于將配電工作從變電站轉移到數(shù)據(jù)中心內部，這樣一來整個轉換過程所造成的能源損耗大大降低。根據(jù)Facebook的測算，傳統(tǒng)電力轉換過程所損失掉的電量為21%到27%，而Prineville數(shù)據(jù)中心這套自給自足的方案則只帶來7.5%的能源損耗。

系統(tǒng)中還包括大量其它設計元素，例如備份用柴油發(fā)電機、電池監(jiān)控、服務器-電池備份以及能源利用率更高的LED照明系統(tǒng)?？傮w來說，這套系統(tǒng)的設計水平達到甚至超過了絕大多數(shù)現(xiàn)有執(zhí)行標準，包括國家電器設計規(guī)范、國家防火規(guī)范、電氣及電子工程師協(xié)會和保險商實驗室提出的規(guī)定等等。

卻系統(tǒng)大大超過ASHRAE(即美國采暖、制冷與空調工程師學會)的規(guī)定

Facebook的Prineville數(shù)據(jù)中心還展示了由OCP設計的高效冷卻系統(tǒng)，這套系統(tǒng)利用蒸發(fā)冷卻系統(tǒng)實現(xiàn)現(xiàn)場散熱，達成了100%全風冷的綠色發(fā)展目標。方案沒有借助任何制冷機或者冷卻塔設施。Facebook官方宣稱，這套方案通過無管道式頂棚引導模式根據(jù)現(xiàn)場溫、濕度情況進行冷風分配，其優(yōu)異的冷卻效果及令人贊嘆的低運轉功耗大大超過了ASHRAE的相關規(guī)定。