加州大學(xué)團隊開發(fā)異構(gòu)編程新模型，開辟提升處理器性能新路徑
加入技術(shù)交流群
圖丨曾宏偉（來源：加州大學(xué)河濱分校） 為了處理不同類型的數(shù)據(jù)，現(xiàn)代計算機大都集成了多種處理器，并引入異構(gòu)計算模型以提升性能。然而，由于傳統(tǒng)的編程框架，包括領(lǐng)域特定語言（domain-specific languages），只能將代碼區(qū)域（code region）分配給一種處理器，使得其他計算資源閑置而無法用于當前函數(shù)的運算，因此現(xiàn)有編程模型并不能充分發(fā)揮異構(gòu)模型的潛力。 而這項名為“同步異構(gòu)多線程”（simultaneous and heterogenous multithreading，SHMT）的編程和執(zhí)行模型，旨在克服現(xiàn)有編程模型未能充分利用異構(gòu)計算系統(tǒng)潛力的限制。 與傳統(tǒng)模型不同，SHMT 可以充分利用異構(gòu)的并行類型。通過結(jié)合多種處理單元（如 CPU、GPU、TPU 等）的優(yōu)勢，這種模型能有效提升計算效率和能效。
圖丨 SHMT 的執(zhí)行模型（c）相比于傳統(tǒng)異構(gòu)計算機（a）與使用了軟件流水技術(shù)的傳統(tǒng)異構(gòu)計算機（b）的優(yōu)勢（來源：the 56th Annual IEEE/ACM International Symposium on Microarchitecture） 此前的研究已經(jīng)證明，使用了不同處理模型與設(shè)計理念的協(xié)處理器和硬件加速器，都能以出色的性能執(zhí)行相同的函數(shù)，這為 SHMT 的實現(xiàn)提供了可能。不過，要將同一函數(shù)的計算分解到不同類型的計算資源中，系統(tǒng)面臨以下三個挑戰(zhàn)： 第一，SHMT 需要某種機制來描述和劃分在不同的計算分區(qū)上的等效操作和數(shù)據(jù)； 第二，SHMT 必須能夠高效地協(xié)調(diào)異構(gòu)硬件上的執(zhí)行； 第三，由于不同的硬件單元會提供不同質(zhì)量水平的結(jié)果，SHMT 必須在不產(chǎn)生大量額外開銷的情況下確保結(jié)果。 為了解決這些困難，研究人員開發(fā)了一個由三個主要部分組成的系統(tǒng)架構(gòu)： 首先，SHMT 引入了一種虛擬硬件的概念，允許開發(fā)者將計算任務(wù)借助一系列虛擬操作（Virtual Operations，VOPs）的形式從 CPU“卸載”。
VOPs 定義了 SHMT 底層硬件可支持的可用操作，進而使整個 SHMT 子系統(tǒng)抽象為一個單一且強大的加速器。
圖丨矢量或矩陣平鋪處理模型類型的 VOP 列表（來源：the 56th Annual IEEE/ACM International Symposium on Microarchitecture） 其次，SHMT 有一套至關(guān)重要的運行時系統(tǒng)。它不僅作為虛擬硬件的“驅(qū)動程序”，在程序執(zhí)行期間動態(tài)解析 VOPs，還負責(zé)評估硬件資源的能力，并據(jù)此做出智能的調(diào)度決策。它將 VOPs 進一步分解為高級操作（High-Level Operations，HLOPs），這些 HLOP 作為 SHMT 中的基本調(diào)度單位，每個 HLOP 負責(zé)執(zhí)行 VOP 運算的特定部分，且均具有硬件無關(guān)性，確保了運行時系統(tǒng)能夠根據(jù)實際情況靈活調(diào)整任務(wù)分配。 更進一步地，SHMT 采用了一種質(zhì)量感知的工作竊?。≦uality-Aware Work-Stealing，QAWS）調(diào)度策略，以優(yōu)化資源利用率和提升系統(tǒng)性能。
這種策略通過動態(tài)調(diào)整工作負載分配來平衡各種硬件資源的使用，減少空閑時間，避免性能瓶頸，同時保證了任務(wù)執(zhí)行的質(zhì)量。
圖丨SHMT 概覽（來源：the 56th Annual IEEE/ACM International Symposium on Microarchitecture）
該系統(tǒng)原型由下圖所示部分構(gòu)成：
圖丨 SHMT 原型平臺構(gòu)成示意圖（來源：DeepTech）在基準應(yīng)用程序上的檢測結(jié)果顯示，相較于基準方法，采用性能最佳策略的 QAWS 的 SHMT 速度提高了 1.95 倍。 實驗表明，所有 QAWS 策略均能有效地提高結(jié)果質(zhì)量，MAPE（平均絕對百分比誤差）平均值低于 2%，接近于手動優(yōu)化的 Oracle 場景。且無論采樣率如何變化，QAWS-TS 策略的性能都名列前茅。
圖丨（a）質(zhì)量與 QAWS 采樣率的關(guān)系，（b）速度提升與 QAWS 采樣率的關(guān)系（來源：the 56th Annual IEEE/ACM International Symposium on Microarchitecture） 更為重要的是，由于 SHMT 減少了執(zhí)行時間，并將計算任務(wù)轉(zhuǎn)移到耗電更低的 Edge TPU 上，因此它在節(jié)約能耗方面展現(xiàn)出了巨大潛力。實驗結(jié)果顯示，與基線 GPU 相比，SHMT 在 QAWS-TS 策略下平均減少了 51% 的能耗和 78% 的能量延遲積。
同時，得益于 Edge TPU 專用邏輯提供的加速功能，以及 SHMT 并行編程模型使用的低數(shù)據(jù)交換算法，這一模型也不會導(dǎo)致顯著的內(nèi)存和通信開銷。
圖 | 相關(guān)論文（來源：the 56th Annual IEEE/ACM International Symposium on Microarchitecture）近日，相關(guān)論文以《同步異構(gòu)多線程》（Simultaneous and Heterogenous Multithreading）為題，在加拿大多倫多舉行的第 56 屆 IEEE/ACM 國際微架構(gòu)研討會上發(fā)表[1]。
加州大學(xué)河濱分校的博士研究生徐冠杰（Kuan-Chieh Hsu）為第一作者，曾宏偉副教授擔(dān)任通訊作者。
曾宏偉對媒體表示，“你不必增加新的處理器，因為現(xiàn)有的就足夠了。”因此，僅需使用現(xiàn)有的處理組件，就相當于降低了計算機硬件成本，同時減少了服務(wù)器等設(shè)備運行時的能源消耗，也減少了碳排放與水消耗。 但這一模型也面臨一些挑戰(zhàn)與局限性。例如，如何有效管理和調(diào)度多種類型的計算資源以實現(xiàn)最優(yōu)能效、如何降低編程模型的復(fù)雜性、如何降低通信開銷以及如何擴展應(yīng)用平臺與場景等問題，而這些也正是曾宏偉團隊未來的研究方向。
參考文獻：
1.Kuan-Chieh Hsu and Hung-Wei Tseng. 2023. Simultaneous and Heterogenous Multithreading. In Proceedings of the 56th Annual IEEE/ACM International Symposium on Microarchitecture (MICRO '23). Association for Computing Machinery, New York, NY, USA, 137–152. https://doi.org/10.1145/3613424.3614285
2.https://news.ucr.edu/articles/2024/02/21/method-identified-double-computer-processing-speeds
支持：Ren
排版：劉雅坤
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。
