國(guó)內(nèi)最快HPC背后懸疑獲解

曙光５０００Ａ多網(wǎng)合一體系結(jié)構(gòu)圖

　　繼曙光4000A成功“服役”之后，新一代機(jī)型曙光5000A再次落戶上海超算中心。這一代HPC相比前代機(jī)型的性能提高了一個(gè)數(shù)量級(jí)，其系統(tǒng)峰值運(yùn)算速度達(dá)到230TFLOPS，是目前國(guó)內(nèi)速度最快的商用高性能計(jì)算機(jī)系統(tǒng)。它的技術(shù)創(chuàng)新如何體現(xiàn)，曙光又如何看待未來(lái)HPC的技術(shù)發(fā)展，日前，曙光副總裁聶華與記者交流了曙光5000A背后的故事。

　　曙光怎樣設(shè)計(jì)５０００Ａ

　　曙光5000A的技術(shù)參數(shù)已在發(fā)布時(shí)曝光，可具體技術(shù)細(xì)節(jié)卻鮮有透露。聶華介紹說(shuō)，曙光5000A的結(jié)構(gòu)非常簡(jiǎn)練，高性能計(jì)算機(jī)是用互聯(lián)網(wǎng)絡(luò)將很多計(jì)算單元耦合在一起的，為了增加耦合效率，設(shè)計(jì)廠商曾構(gòu)建了管理網(wǎng)絡(luò)、存儲(chǔ)網(wǎng)絡(luò)、以太網(wǎng)絡(luò)等各種網(wǎng)絡(luò)。這一次，曙光5000A極大簡(jiǎn)化了整體網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)了多網(wǎng)合一。其體系結(jié)構(gòu)也不同于傳統(tǒng)集群或架構(gòu)巨量平行處理架構(gòu)（MPP），曙光提出超并行體系處理架構(gòu)（HPP），除結(jié)合集群結(jié)構(gòu)易擴(kuò)展、易編程的優(yōu)勢(shì)外，還在高密度、高性能和耦合方面有了突出進(jìn)展。

　　硬件架構(gòu)之上是軟件結(jié)構(gòu)，軟件才是用戶運(yùn)用高性能計(jì)算機(jī)的窗口。從基礎(chǔ)部件層、系統(tǒng)軟件層等底層開(kāi)始，曙光5000A搭建了一個(gè)9層的軟件架構(gòu)，從域服務(wù)、資源調(diào)度、安全等層次進(jìn)行有機(jī)組合。在應(yīng)用層，曙光5000A擁有豐富的科學(xué)計(jì)算、商業(yè)計(jì)算以及信息化應(yīng)用軟件，為用戶提供了實(shí)用基礎(chǔ)。

　　除了架構(gòu)創(chuàng)新之外，曙光5000A的另一項(xiàng)引人關(guān)注的技術(shù)創(chuàng)新是高密度刀片服務(wù)器，這是曙光5000A最核心的計(jì)算單元。該刀片總體架構(gòu)為7U架構(gòu)，里面有10片計(jì)算刀片。值得強(qiáng)調(diào)的是，每片刀片集成了4路SMP的4核處理器，這就構(gòu)成了7U空間共計(jì)160核的超高密度設(shè)計(jì)，為常見(jiàn)1U服務(wù)器密度2.86倍。在刀片當(dāng)中，它還整合了網(wǎng)絡(luò)模塊、管理模塊、IOE擴(kuò)展模塊和冗余電源模塊，尤其是內(nèi)置DDR Infiniband HCA和交換模塊，這是曙光創(chuàng)新的設(shè)計(jì)。這樣，相鄰結(jié)點(diǎn)MPI延遲為1.6us左右，而普通DDR交換機(jī)為3us以上，這一延遲直接影響著提升并行效率。同時(shí)，在內(nèi)置之后，系統(tǒng)減少了50%的高速IB線纜的數(shù)量，大量IB連線對(duì)現(xiàn)階段構(gòu)建大規(guī)模集成網(wǎng)構(gòu)成了威脅，銅纜容易形成不穩(wěn)定連接。因此，盡可能減少高速IB連線的數(shù)量，對(duì)于提高IB穩(wěn)定性來(lái)說(shuō)意義很大。進(jìn)一步設(shè)想，整個(gè)系統(tǒng)還提供10個(gè)PCI-E 8X IO擴(kuò)展插槽，雖然這些插槽目前處于閑置狀態(tài)，但如果都插上加速卡，就可以針對(duì)特別應(yīng)用構(gòu)建專用系統(tǒng)，這將帶來(lái)廣闊的應(yīng)用擴(kuò)展空間。

　　胖節(jié)點(diǎn)則為計(jì)算子系統(tǒng)解決更具挑戰(zhàn)性的問(wèn)題提供了保障。曙光配置了大約1/10規(guī)模的胖節(jié)點(diǎn)，與4路SMP結(jié)構(gòu)運(yùn)算節(jié)點(diǎn)配合。在4路計(jì)算刀片中，每個(gè)核可以進(jìn)行64GB直接內(nèi)存尋址，這意味著具有挑戰(zhàn)性的一些工程計(jì)算程序可以更好地運(yùn)行，胖節(jié)點(diǎn)則使每個(gè)核訪問(wèn)128GB內(nèi)存成為可能。胖節(jié)點(diǎn)采用了改進(jìn)的8路SMP處理結(jié)構(gòu)，8個(gè)處理器之間實(shí)現(xiàn)交叉互聯(lián)，實(shí)現(xiàn)了每個(gè)刀片32個(gè)核的SMP擴(kuò)展。曙光不只實(shí)現(xiàn)了設(shè)計(jì)峰值的高性能，也非常注重這款機(jī)型的高可用性。“針對(duì)集群系統(tǒng)曾流行一個(gè)觀點(diǎn)，當(dāng)發(fā)展到1萬(wàn)個(gè)處理器核心時(shí)，系統(tǒng)的不可靠程度將增加，但曙光可以負(fù)責(zé)任地講，曙光5000A可以穩(wěn)定工作。”聶華說(shuō)。

　　曙光為何鐘情ＡＭＤ

　　在今年公布的HPC TOP500榜單當(dāng)中，基于英特爾處理器的系統(tǒng)占了絕大部分的市場(chǎng)份額。為什么在英特爾有著明顯優(yōu)勢(shì)的市場(chǎng)，曙光在開(kāi)發(fā)新機(jī)型時(shí)卻選擇了聯(lián)手AMD？盡管曙光5000A采用的是AMD的巴塞羅那4核處理器，但聶華毫不否認(rèn)，英特爾的處理器非常出色。“英特爾4核處理器的主頻就要比巴塞羅那表現(xiàn)得要好，這在TOP500的峰值測(cè)試中是非常占有優(yōu)勢(shì)的。”聶華說(shuō)，“但最終讓曙光決定采用巴塞羅那的原因是由產(chǎn)品本身的設(shè)計(jì)決定的。”

　　聶華說(shuō)，曙光5000A當(dāng)時(shí)的定位就是高效能計(jì)算機(jī)，而并非單純的高性能計(jì)算機(jī)。盡管當(dāng)前的2路計(jì)算刀片已經(jīng)非常成熟，但曙光還是決定研發(fā)高密度的4路計(jì)算刀片，這在保證提高生產(chǎn)力的同時(shí)，也能降低了系統(tǒng)規(guī)模，提高系統(tǒng)穩(wěn)定性。對(duì)于這項(xiàng)設(shè)計(jì)來(lái)說(shuō)，曙光認(rèn)為AMD提供的巴塞羅那架構(gòu)是理想選擇。集成內(nèi)存控制器的“直連架構(gòu)”為目前AMD所獨(dú)有，處理器直接訪問(wèn)內(nèi)存能夠降低延遲，而且能擴(kuò)大內(nèi)存帶寬。在高性能計(jì)算領(lǐng)域，從CPU核心到內(nèi)存之間的數(shù)據(jù)交換往往受制于帶寬限制，這一現(xiàn)象導(dǎo)致的“內(nèi)存墻”限制了系統(tǒng)整體性能的提升。“當(dāng)然也有市場(chǎng)因素。但技術(shù)層面原因是最關(guān)鍵的。”聶華說(shuō)，“英特爾的下一代架構(gòu)也將采用直連技術(shù)，到那時(shí)就沒(méi)有任何差別了，這也是未來(lái)趨勢(shì)。”

　　曙光如何看混合架構(gòu)

　　在IBM突破千萬(wàn)億次計(jì)算的“走鵑”發(fā)布后，混合架構(gòu)成為業(yè)界爭(zhēng)論的焦點(diǎn)。究竟哪些系統(tǒng)適合采用混合架構(gòu)，它與軟件調(diào)優(yōu)哪個(gè)才是HPC的發(fā)展趨勢(shì)？聶華表示，混合架構(gòu)與軟件調(diào)優(yōu)是相互關(guān)聯(lián)，但又完全不同的兩個(gè)方向，硬件加速針對(duì)特別應(yīng)用，軟件調(diào)優(yōu)則使用相應(yīng)工具，整體可以獲得更好的并行性能，它們都可能為系統(tǒng)性能帶來(lái)幾倍甚至幾十倍的提升。

　　從曙光5000A本身的情況來(lái)看，系統(tǒng)中完全預(yù)留了協(xié)處理器的插槽位置，完全可以使用龍芯、FPGA甚至商用化硬件作為加速器。但這次曙光5000A并沒(méi)有采用加速器，這是與其用戶的應(yīng)用環(huán)境密切相關(guān)的。上海超算中心的特點(diǎn)是超大規(guī)模的通用計(jì)算平臺(tái)，面向的用戶眾多，只要是高性能計(jì)算的，都可以在這個(gè)平臺(tái)上進(jìn)行。而國(guó)外的高性能計(jì)算機(jī)則多是單個(gè)用戶專注于某項(xiàng)特定應(yīng)用，如IBM的“走鵑”就是為美國(guó)洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室特別定制的。在這種情況下，對(duì)于上海超算中心來(lái)說(shuō)，根本不能全部插上加速卡，只能面向部分特定用戶構(gòu)建少量加速結(jié)點(diǎn)。聶華表示，正因?yàn)樯虾３阒行氖峭ㄓ糜?jì)算平臺(tái)，所以曙光5000A要選用通用CPU和通用架構(gòu)，這樣對(duì)用戶來(lái)說(shuō)才實(shí)現(xiàn)了價(jià)值最大化。

　　如果某個(gè)用戶對(duì)計(jì)算能力的要求足夠高，或者可以面向具有同樣特定應(yīng)用的一類用戶群提供服務(wù)，專用的加速器技術(shù)也將會(huì)在曙光5000A或后續(xù)機(jī)型上推廣應(yīng)用。