Helium 技術(shù)講堂 | 數(shù)獨(dú)、寄存器和相信的力量
加入技術(shù)交流群
當(dāng)人工智能 (AI) 下沉到各式各樣的應(yīng)用當(dāng)中，作為市場(chǎng)上最大量的物聯(lián)網(wǎng)設(shè)備也將被賦予智能性。Arm ? Helium? 技術(shù)正是為基于 Arm Cortex ? -M 處理器的設(shè)備帶來(lái)關(guān)鍵機(jī)器學(xué)習(xí)與數(shù)字信號(hào)處理的性能提升。
本文引用地址：http://www.butianyuan.cn/article/202406/460299.htm在上周的 Helium 技術(shù)講堂中，大家了解了 Helium 技術(shù)的核心“節(jié)拍式”執(zhí)行 。 今天，我們將共同探討一些復(fù)雜而又有趣的交錯(cuò)加載/存儲(chǔ)指令。 若您想要了解如何高效利用 Helium，千萬(wàn)別錯(cuò)過(guò)文末視頻，通過(guò) Arm 技術(shù)專家的實(shí)例演示，詳解 Helium 如何為端點(diǎn)設(shè)備引入更多智能。
Arm Helium 技術(shù)誕生的由來(lái)
數(shù)獨(dú)、寄存器和相信的力量
作者：Arm 架構(gòu)與技術(shù)部 M 系列首席架構(gòu)師兼研究員 Thomas Grocutt
DSP 處理中一個(gè)重要部分就是對(duì)不同的數(shù)據(jù)格式進(jìn)行高效處理，這些數(shù)據(jù)格式通常需要轉(zhuǎn)換成不同的排列方式進(jìn)行計(jì)算。圖像數(shù)據(jù)就是一個(gè)很好的例子，它通常以紅、綠、藍(lán)和 alpha 像素值交錯(cuò)流的形式被存儲(chǔ)。但是，為了將計(jì)算矢量化，就需要將所有紅色像素放在一個(gè)矢量中，綠色像素放在另一個(gè)矢量中，以此類推。在 Neon 架構(gòu)中，VLD4/VST4 指令可以執(zhí)行這種轉(zhuǎn)換，如下圖所示。
VST4 將四個(gè) 128 位寄存器交錯(cuò)排列，共存儲(chǔ) 512 位數(shù)據(jù)。Neon 架構(gòu)有多種交織/去交織運(yùn)算，可支持不同的格式。例如，提供的 VST2 可用于交織立體聲音頻的左右聲道。這些指令還支持從 8 到 32 位不等的元素大小。
MVE 的“節(jié)拍式”執(zhí)行的主要優(yōu)點(diǎn)之一，是它允許內(nèi)存和 ALU 運(yùn)算重疊，即使在單發(fā)射處理器上也是如此。 如下圖所示，基于此技術(shù)要實(shí)現(xiàn)性能的翻倍，所有指令必須執(zhí)行相同的工作量。
顯而易見，重疊帶來(lái)的性能提升會(huì)因 VST4 這樣的寬存儲(chǔ)指令而大打折扣。 MVE 提供的解決方案是將存儲(chǔ)空間分割成與 ALU 運(yùn)算相平衡的塊，每個(gè)塊存儲(chǔ) 128 位數(shù)據(jù)。 MVE 允許由 VST40、VST41、VST42 和 VST43 這四條指令構(gòu)成四路交織。但到此并未結(jié)束，仍有不少問(wèn)題存在：
顯而易見的拆分方法是讓四條指令分別存儲(chǔ)不同的數(shù)據(jù)流（例如 VST40 存儲(chǔ)所有紅色像素，VST41 存儲(chǔ)綠色像素等）。對(duì)于 8 位像素?cái)?shù)據(jù)，這意味著每條指令將存儲(chǔ) 16 個(gè)非連續(xù)字節(jié)。這種訪問(wèn)模式對(duì)內(nèi)存子系統(tǒng)來(lái)說(shuō)非常復(fù)雜，會(huì)導(dǎo)致大量停滯。相反，指令需要生成大塊連續(xù)請(qǐng)求。
要正確配合其他矢量指令，必須將寄存器文件端口設(shè)置為訪問(wèn)寄存器文件的行（即整個(gè)矢量寄存器），而不是列（即四個(gè)寄存器的第一個(gè)字節(jié)），如果要將數(shù)據(jù)交織存儲(chǔ)到連續(xù)內(nèi)存塊中，則需要訪問(wèn)列。
為了避免我在上一篇內(nèi)容中描述的時(shí)間跨越問(wèn)題，我們需要將指令分成幾個(gè)“節(jié)拍”，先讀取寄存器的 [63:0] 位，然后在下一個(gè)周期讀取 [127:64] 位。
解決方案必須同時(shí)適用于兩路交織和四路交織，以及 8、16 和 32 位數(shù)據(jù)運(yùn)算。
面對(duì)所有這些相互矛盾的限制，我們就像掉進(jìn)了兔子洞，我不禁想起了《愛麗絲夢(mèng)游仙境》中的情節(jié)：
愛麗絲：這是不可能的。
瘋帽匠：只要你相信，一切皆有可能。
所以，讓我們暫且放下懷疑的態(tài)度，仔細(xì)研究一下讀取端口，看看會(huì)發(fā)生什么。
MVE 重復(fù)使用浮點(diǎn)寄存器文件，因此矢量寄存器（Q0 至 Q7）由每四個(gè)一組的若干組 “S” 寄存器組成。每個(gè)列多路復(fù)用器選擇相同的行，然后將數(shù)據(jù)合并以訪問(wèn)整個(gè) Q 寄存器（見上圖）。但是，如果不能從一列中的任何寄存器中選擇，而是將端口扭曲，從交替列中的寄存器中選擇，如下圖所示，會(huì)如何呢：
如果 8:1 多路復(fù)用器上的控制輸入設(shè)置為相同值，則可讀取一行數(shù)據(jù)（例如 S0 和 S1）。但是，如果使用不同的值，則可以讀取一列中的一對(duì)值（如 S0 和 S4）?，F(xiàn)在看起來(lái)似乎可行，我們能夠從列和行中讀取數(shù)據(jù)。如果我們把圖的下面放大，并將寄存器編號(hào)替換為它們所連接的多路復(fù)用器的編號(hào)，就會(huì)得到下圖結(jié)果：
這類似于一道簡(jiǎn)單的數(shù)獨(dú)謎題，在重復(fù)矩陣的每一行和每一列中，每個(gè)數(shù)字只會(huì)出現(xiàn)一次，只不過(guò)這個(gè)矩陣是 2 x 2 的，而不是平常的 9 x 9。由于只能從一列中讀取兩個(gè)值，并且只能處理 32 位值（多路復(fù)用器的寬度），因此這種模式只能提供兩路交織的解決方案。由于我們需要一種可處理所有交錯(cuò)模式和數(shù)據(jù)寬度組合的模式，因此可想象將所有組合垂直堆疊起來(lái)，得到一個(gè)多分辨率的三維數(shù)獨(dú)謎題。解決一層謎題輕而易舉，但解決整個(gè)三維謎題的過(guò)程一定令人嘆為觀止。此外，我們還需要考慮上文提到的其他限制因素，如連續(xù)內(nèi)存訪問(wèn)，以及在不同周期內(nèi)拆分對(duì)寄存器上下 64 位的訪問(wèn)。
經(jīng)過(guò)一番思索，我意識(shí)到可以將問(wèn)題一分為二：一是確定一種可在單個(gè)統(tǒng)一的問(wèn)題空間中表示全部約束的方法，二是解決這些約束的單調(diào)任務(wù)。由于該模式類似于一個(gè)非常復(fù)雜的數(shù)獨(dú)問(wèn)題，而許多數(shù)獨(dú)程序都是基于 SAT 解算器的，因此我產(chǎn)生了使用 SAT 解算器來(lái)完成單調(diào)約束求解任務(wù)的想法。經(jīng)過(guò)努力，我想出了一種能表示所有約束的方法，一番調(diào)試后，第一個(gè)可行的解決方案誕生了。雖然它不完善，而且會(huì)導(dǎo)致多路復(fù)用器的控制邏輯難以實(shí)施，但至少勝利在望了。由于不想對(duì)解決方案進(jìn)行手動(dòng)清理，我們添加了一些額外的約束條件，引入了一些對(duì)稱性，并產(chǎn)出了最終的解決方案，它竟然是一對(duì)雙嵌套四重螺旋結(jié)構(gòu)：
為了讓大家看到嵌套的螺旋線，我在下圖中標(biāo)注了單個(gè)多路復(fù)用器的路徑。如圖所示，路徑每行交替通過(guò) 32 位 “S” 寄存器（如左圖所示），每?jī)尚薪粨Q通過(guò) “S” 寄存器上下兩半 16 位區(qū)域（如右圖所示）。
直覺(jué)告訴我，這種扭曲的方法對(duì)于三路交織來(lái)說(shuō)是行不通的，經(jīng)證實(shí)我是對(duì)的，SAT 解算器正式證明無(wú)解。
這種扭曲方法意味著可以同時(shí)訪問(wèn)寄存器文件行和列中的數(shù)據(jù)。但問(wèn)題在于，讀取端口返回的字節(jié)可能順序有誤，而順序取決于訪問(wèn)的寄存器。要糾正此情況，就需要使用一個(gè)交叉多路復(fù)用器，將一切交換回正確的位置。由于如 VREV 等其他指令和復(fù)數(shù)原生操作指令會(huì)用到交叉多路復(fù)用器，所以我們正好能免費(fèi)使用它。這正印證了那句話：“如果你必須使用一個(gè)硬件，請(qǐng)物盡其用。”
下圖顯示了由讀取端口扭曲模式衍生出的一些指令訪問(wèn)模式。第一種情況 (VST2n.S32) 顯示從矢量寄存器 Q0 和 Q1 讀取 32 位 (S32)，并將其兩路交織（如左右音頻通道）。圖中顏色代表兩條指令分別讀取的寄存器部分（即 VST20 讀取橙色部分），元素中的文字表示內(nèi)存中存儲(chǔ)的字節(jié)偏移。
可以發(fā)現(xiàn)，上述 S8 和 S16 模式都將相同的數(shù)據(jù)放在寄存器的相同顏色區(qū)域內(nèi)；唯一不同的是每節(jié)中字節(jié)的排列方式。這意味著， 只需在交叉多路復(fù)用器中使用不同的配置，16 位模式也能支持 8 位。 這些模式也適用于加載指令所使用的寫入端口。除了可以建立寄存器文件端口外， 這些模式還意味著內(nèi)存訪問(wèn)始終是一對(duì) 64 位的連續(xù)塊，這樣可以提高內(nèi)存訪問(wèn)的效率。 另外，這些數(shù)據(jù)塊地址的第 [3] 位總是不同的， 因此可以在擁有兩組交織 64 位內(nèi)存的系統(tǒng)上并行發(fā)送。
研究團(tuán)隊(duì)從這些指令中積累了兩條重要的經(jīng)驗(yàn)。 首先，要想在 gate 數(shù)量和效率方面取得突破式進(jìn)展，就必須在設(shè)計(jì)架構(gòu)的同時(shí)對(duì)微架構(gòu)的細(xì)節(jié)同步思考設(shè)計(jì)。其次，要保持信念，相信一切皆有可能。
我們將在下一篇 Helium 文章中繼續(xù)探討以內(nèi)存訪問(wèn)為主題的相關(guān)內(nèi)容，并介紹一些實(shí)現(xiàn)循環(huán)緩沖的技術(shù)知識(shí)。持續(xù)關(guān)注 Helium 技術(shù)講堂，我們下期再見！
評(píng)論