Helium 技術講堂 | 克服 Amdahl 定律的影響
加入技術交流群
當人工智能 (AI) 下沉到各式各樣的應用當中，作為市場上最大量的物聯(lián)網(wǎng)設備也將被賦予智能性。Arm ? Helium? 技術正是為基于 Arm Cortex ? -M 處理器的設備帶來關鍵機器學習與數(shù)字信號處理的性能提升。
本文引用地址：http://www.butianyuan.cn/article/202409/462642.htm作者：Arm 架構與技術部 M 系列首席架構師兼研究員 Thomas Grocutt
在前幾篇文章中，我們介紹了采用 Arm Helium 技術（也稱為 MVE）的 Armv8.1-M 架構如何處理矢量指令。但問題是，每當代碼被矢量化時，Amdahl 定律的影響很快便會顯現(xiàn)，讓人措手不及。如果您不了解 Amdahl 定律，可以簡單理解為， Amdahl 定律表明算法中無法并行化的部分很快就會成為性能瓶頸。 例如，如果有 50% 的工作負載可以并行化，那么即使這部分工作負載可以無限并行，最多也只能將速度提高二倍。不知您作何感受，如果我能將某件事情無限并行化，但速度卻只能提升二倍，這種微不足道的提升一定會讓我感到非常惱火！在設計 Helium 時，我們必須考慮矢量指令及其相關聯(lián)的一切內(nèi)容，這樣才能最大限度地提高性能。
串行代碼在循環(huán)處理中很常見，串行代碼造成的開銷可能相當大，特別是對于小循環(huán)。下面的內(nèi)存復制代碼就是一個很好的例子：
循環(huán)迭代計數(shù)的遞減和返回循環(huán)頂端的條件分支占循環(huán)指令的 50%。許多小型 Cortex-M 處理器沒有分支預測器（小型 Cortex-M 處理器的面積效率極高，這意味著許多分支預測器比整個 Cortex-M 處理器還要大幾倍）。因此，由于分支損失，運行時開銷實際上高于 50%。通過在多次迭代中攤銷開銷，循環(huán)展開可以幫助減少開銷，但會增加代碼大小，并使代碼的矢量化過程更加復雜。鑒于許多 DSP 內(nèi)核都有小循環(huán)，因此在 Helium 研究項目中解決這些問題至關重要。 許多專用 DSP 處理器支持零開銷循環(huán)。一種實現(xiàn)方法是使用 REPEAT 指令，告訴處理器將下面的指令重復 N 次：
處理器必須記錄多項數(shù)據(jù)：
循環(huán)開始的地址
需要分支回到循環(huán)開始前所剩余的指令數(shù)
剩余的循環(huán)迭代次數(shù)
在處理中斷時，跟蹤記錄所有這些數(shù)據(jù)可能會造成問題，因此一些 DSP 只需要延遲中斷，直到循環(huán)完成。如果要執(zhí)行大量的迭代，這可能需要相當長的時間，而且完全不符合 Cortex-M 處理器應該實現(xiàn)的快速和確定性中斷延遲的需求。這種方法也不適用于處理精確故障，如權限違規(guī)導致的內(nèi)存管理故障異常 (MemManage)。另一種方法是增加額外的寄存器來處理循環(huán)狀態(tài)。但這些新寄存器必須在異常進入和返回時保存和恢復，而這又會增加中斷延遲。為了解決這個問題，Armv8.1-M 采用了一對循環(huán)指令：
該循環(huán)首先執(zhí)行 While Loop Start (WLS) 指令，該指令將循環(huán)迭代計數(shù)復制到 LR，循環(huán)迭代計數(shù)為零時，分支到循環(huán)結束。還有一條 Do Loop Start (DLS) 指令，可用于設置一個循環(huán)，在該循環(huán)中至少始終執(zhí)行一次迭代。Loop End (LE) 指令檢查 LR 以確認是否還需要一次迭代，如果需要，則分支返回起點。有趣的是， 處理器可以緩存 LE 指令提供的信息（即循環(huán)開始和結束的位置），因此在下一次迭代時，處理器甚至可以在獲取 LE 指令之前分支回到循環(huán)的起點。 因此，處理器執(zhí)行的指令序列如下所示：
在循環(huán)末尾添加循環(huán)指令有一個很好的副作用， 如果緩存的循環(huán)信息刷新，該指令將重新執(zhí)行。然后，重新執(zhí)行 LE 指令將重新填充緩存。 如下圖所示，由于無需保存循環(huán)開始和結束地址，因此現(xiàn)有的快速中斷處理功能得以保留。
除了第一次迭代和從中斷恢復時的一些設置外，所有時間實際上都花在了內(nèi)存復制而不是循環(huán)處理上。此外， 由于處理器事先知道指令的順序，因此總能用正確的指令填充流水線。這樣就消除了流水線清空和由此導致的分支損失。 因此，我們可以將這一循環(huán)矢量化，不必再擔心 Amdahl 定律的影響，我們（暫時）克服了這些困難。
在對代碼進行矢量化時，一個循環(huán)通常以不同類型的指令開始和結束，例如矢量加載 (VLDR) 和矢量乘加 (VMLA)。執(zhí)行這樣的循環(huán)時，會產(chǎn)生一長串不間斷的交替 VLDR/VMLA 操作（如下圖所示）。 這種不間斷的鏈條使處理器能夠從指令重疊中獲得最大益處，因為它甚至可以從一個循環(huán)迭代結束重疊到下一個迭代開始，從而進一步提高性能。 關于指令重疊的更多信息，可參閱： 《Arm Helium 技術誕生的由來：為何不直接采用 Neon？》
當需要處理的數(shù)據(jù)量不是矢量長度的倍數(shù)時，矢量化代碼就會出現(xiàn)問題。典型的解決方案是先處理全矢量，然后用一個串行/非矢量化尾部清理循環(huán)來處理剩余的元素。不知不覺中，Amdahl 定律又出現(xiàn)了，真是令人不勝其煩！Helium 中的矢量可容納 16 個 8 位數(shù)值，因此在我們對 31 字節(jié)的 memcpy 函數(shù)進行矢量化時，僅有不到一半的拷貝將由尾部循環(huán)連續(xù)執(zhí)行，而不是由矢量指令并行執(zhí)行。為了解決這個問題，我們增加了循環(huán)指令的尾部預測變體（如 WLSTP、LETP）。對于這些尾部預測循環(huán)，LR 保存的是要處理的矢量元素的個數(shù)，而不是要執(zhí)行的循環(huán)迭代的次數(shù)。循環(huán)開始指令 (WLSTP) 有一個大小字段（下面 memcpy 函數(shù)示例中的“.8”），用于指定要處理的元素的寬度。
如果您曾見過其他優(yōu)化的 memcpy 例程，可能會對這個例子的簡單程度感到驚訝，但對于 Helium 來說，這已經(jīng)是最好的完全矢量化解決方案所需要的一切了。具體工作原理如下： 處理器使用大小字段和剩余元素的數(shù)量來計算剩余迭代次數(shù)。如果最后一次迭代要處理的元素個數(shù)少于矢量長度，則矢量末尾相應數(shù)量的元素將被禁用。因此，在上文復制 31 個字節(jié)的例子中，Helium 會在第一次迭代時并行復制 16 個字節(jié)，然后在下一次迭代時并行復制 15 個字節(jié)。 這不僅可以避免 Amdahl 定律的影響，實現(xiàn)該有的性能，還可以完全消除串行尾碼，減少代碼量，簡化開發(fā)過程。
由于面臨高性能目標和嚴格的面積/中斷延遲限制，我們在設計 Helium 時就像在設計一個多維拼圖，且其中一半的形狀是已經(jīng)固定的。架構中看似毫不相干的部分可以相互作用，產(chǎn)生意想不到的效果或助力解決一些有趣的難題。
整個 Helium 研究團隊和我都無比期待看到 Helium 技術能夠為全新的應用帶來有力的支持。 目前 Cortex-M 已有三款產(chǎn)品支持 Helium 技術——Cortex-M52、Cortex-M55 和 Cortex-M85 ，我迫不及待看到 Helium 技術持續(xù)賦能我們生態(tài)伙伴的 AI 創(chuàng)新應用。
評論