亂序執(zhí)行會給CPU帶來額外開銷嗎？

來源于小伙伴提問。

以下是我的一些看法。

在亂序執(zhí)行的CPU架構中，指令的實際執(zhí)行順序與程序中原本的順序可能不一致。CPU可以根據(jù)指令之間的依賴性，在允許的范圍內(nèi)重新安排指令的執(zhí)行順序，以提高并行性，從而提升性能。亂序執(zhí)行通過這樣的方法減少流水線停頓（stall），從而更好地利用CPU的執(zhí)行單元。

舉個例子，代碼A與代碼B的性能對比：

• 代碼A：經(jīng)過完美優(yōu)化，沒有指令間依賴導致的停頓。在這種情況下，即使亂序執(zhí)行引擎重排指令，最終的指令順序和原本順序會大體相同，因為代碼已經(jīng)被優(yōu)化到最小依賴性。對于代碼A，亂序執(zhí)行能進一步提升的空間較小，因為沒有額外的指令重排能夠提高并行性。

• 代碼B：存在依賴，如果按順序執(zhí)行會有停頓。亂序執(zhí)行引擎在處理代碼B時，可以重新安排指令的執(zhí)行順序，來隱藏這些依賴關系引起的停頓。雖然代碼B原本的順序較差，但是亂序執(zhí)行可以通過重排指令使得性能接近代碼A的水平。

因此，在這種假設的情況下（不考慮亂序窗口的限制），代碼B可以通過亂序執(zhí)行引擎來消除其劣勢，最終性能接近代碼A。但是，這并不意味著兩者在所有情況下都會有相同的性能。

因為：

• 亂序執(zhí)行的額外開銷：雖然亂序執(zhí)行可以提升性能，但重排指令、跟蹤依賴關系、硬件重命名寄存器等操作本身是有代價的。如果代碼A已經(jīng)完美優(yōu)化，在亂序執(zhí)行時需要的重排和依賴處理會更少，相對來說能更好地利用CPU資源。

• 亂序窗口的限制：亂序執(zhí)行有一個窗口（out-of-order window），只能在窗口范圍內(nèi)的指令中進行重排。如果代碼B的依賴關系較為密集，亂序窗口可能不足以完全消除停頓。

1

是否還有必要對匯編代碼進行優(yōu)化？

亂序執(zhí)行雖然能提升CPU指令吞吐量，但手動優(yōu)化匯編代碼依然很有意義，原因如下：

• 減少亂序執(zhí)行引擎的負擔：手動優(yōu)化代碼可以減少亂序執(zhí)行過程中對指令重排和依賴分析的需求，使得CPU執(zhí)行更為高效。例如，如果能夠手動消除依賴關系或者調(diào)整指令順序，就能減少亂序執(zhí)行的重排開銷。

• 提升并行性：亂序執(zhí)行的硬件能力是有限的，手動優(yōu)化代碼可以更好地利用多執(zhí)行單元的并行能力。例如，交錯使用整數(shù)運算和浮點運算指令，或者同時執(zhí)行內(nèi)存訪問和計算操作。

• 硬件特性：不同的CPU對亂序執(zhí)行的支持程度不同，優(yōu)化代碼可以更好地針對特定硬件特性。例如，有些老舊或低功耗CPU的亂序執(zhí)行能力較弱，這種情況下代碼的手動優(yōu)化顯得尤為重要。

2

在亂序執(zhí)行基礎上進一步優(yōu)化的技巧

• 減少數(shù)據(jù)依賴性：盡量減少指令之間的數(shù)據(jù)依賴，例如通過增加指令間的運算、緩存臨時結果到寄存器來減少對之前指令結果的依賴。

• 減少內(nèi)存訪問延遲：內(nèi)存訪問是指令停頓的主要來源之一，可以通過軟件預?。╬refetching）、增加緩存命中率（合理使用數(shù)據(jù)結構）等手段，降低訪問延遲。

• 避免寄存器重命名沖突：亂序執(zhí)行依賴寄存器重命名技術來消除偽依賴（false dependency）。可以通過合理安排寄存器使用，減少重命名沖突。

• 利用指令并行性：在指令間隙中插入無關操作，使得更多的指令可以并行執(zhí)行。例如，將計算指令與加載指令交錯安排，減少流水線的停頓。

• 合理使用分支預測：盡量減少分支錯誤預測帶來的流水線清空，重排代碼或者避免難以預測的分支。

雖然亂序執(zhí)行可以大大減少流水線停頓，但代碼優(yōu)化仍能顯著提升性能。對于追求極致性能的場合，手動優(yōu)化匯編代碼依然不可或缺。