亂序執(zhí)行會(huì)給CPU帶來(lái)額外開銷嗎？

來(lái)源于小伙伴提問。

以下是我的一些看法。

在亂序執(zhí)行的CPU架構(gòu)中，指令的實(shí)際執(zhí)行順序與程序中原本的順序可能不一致。CPU可以根據(jù)指令之間的依賴性，在允許的范圍內(nèi)重新安排指令的執(zhí)行順序，以提高并行性，從而提升性能。亂序執(zhí)行通過(guò)這樣的方法減少流水線停頓（stall），從而更好地利用CPU的執(zhí)行單元。

舉個(gè)例子，代碼A與代碼B的性能對(duì)比：

• 代碼A：經(jīng)過(guò)完美優(yōu)化，沒有指令間依賴導(dǎo)致的停頓。在這種情況下，即使亂序執(zhí)行引擎重排指令，最終的指令順序和原本順序會(huì)大體相同，因?yàn)榇a已經(jīng)被優(yōu)化到最小依賴性。對(duì)于代碼A，亂序執(zhí)行能進(jìn)一步提升的空間較小，因?yàn)闆]有額外的指令重排能夠提高并行性。

• 代碼B：存在依賴，如果按順序執(zhí)行會(huì)有停頓。亂序執(zhí)行引擎在處理代碼B時(shí)，可以重新安排指令的執(zhí)行順序，來(lái)隱藏這些依賴關(guān)系引起的停頓。雖然代碼B原本的順序較差，但是亂序執(zhí)行可以通過(guò)重排指令使得性能接近代碼A的水平。

因此，在這種假設(shè)的情況下（不考慮亂序窗口的限制），代碼B可以通過(guò)亂序執(zhí)行引擎來(lái)消除其劣勢(shì)，最終性能接近代碼A。但是，這并不意味著兩者在所有情況下都會(huì)有相同的性能。

因?yàn)椋?/p>

• 亂序執(zhí)行的額外開銷：雖然亂序執(zhí)行可以提升性能，但重排指令、跟蹤依賴關(guān)系、硬件重命名寄存器等操作本身是有代價(jià)的。如果代碼A已經(jīng)完美優(yōu)化，在亂序執(zhí)行時(shí)需要的重排和依賴處理會(huì)更少，相對(duì)來(lái)說(shuō)能更好地利用CPU資源。

• 亂序窗口的限制：亂序執(zhí)行有一個(gè)窗口（out-of-order window），只能在窗口范圍內(nèi)的指令中進(jìn)行重排。如果代碼B的依賴關(guān)系較為密集，亂序窗口可能不足以完全消除停頓。

1

是否還有必要對(duì)匯編代碼進(jìn)行優(yōu)化？

亂序執(zhí)行雖然能提升CPU指令吞吐量，但手動(dòng)優(yōu)化匯編代碼依然很有意義，原因如下：

• 減少亂序執(zhí)行引擎的負(fù)擔(dān)：手動(dòng)優(yōu)化代碼可以減少亂序執(zhí)行過(guò)程中對(duì)指令重排和依賴分析的需求，使得CPU執(zhí)行更為高效。例如，如果能夠手動(dòng)消除依賴關(guān)系或者調(diào)整指令順序，就能減少亂序執(zhí)行的重排開銷。

• 提升并行性：亂序執(zhí)行的硬件能力是有限的，手動(dòng)優(yōu)化代碼可以更好地利用多執(zhí)行單元的并行能力。例如，交錯(cuò)使用整數(shù)運(yùn)算和浮點(diǎn)運(yùn)算指令，或者同時(shí)執(zhí)行內(nèi)存訪問和計(jì)算操作。

• 硬件特性：不同的CPU對(duì)亂序執(zhí)行的支持程度不同，優(yōu)化代碼可以更好地針對(duì)特定硬件特性。例如，有些老舊或低功耗CPU的亂序執(zhí)行能力較弱，這種情況下代碼的手動(dòng)優(yōu)化顯得尤為重要。

2

在亂序執(zhí)行基礎(chǔ)上進(jìn)一步優(yōu)化的技巧

• 減少數(shù)據(jù)依賴性：盡量減少指令之間的數(shù)據(jù)依賴，例如通過(guò)增加指令間的運(yùn)算、緩存臨時(shí)結(jié)果到寄存器來(lái)減少對(duì)之前指令結(jié)果的依賴。

• 減少內(nèi)存訪問延遲：內(nèi)存訪問是指令停頓的主要來(lái)源之一，可以通過(guò)軟件預(yù)?。╬refetching）、增加緩存命中率（合理使用數(shù)據(jù)結(jié)構(gòu)）等手段，降低訪問延遲。

• 避免寄存器重命名沖突：亂序執(zhí)行依賴寄存器重命名技術(shù)來(lái)消除偽依賴（false dependency）。可以通過(guò)合理安排寄存器使用，減少重命名沖突。

• 利用指令并行性：在指令間隙中插入無(wú)關(guān)操作，使得更多的指令可以并行執(zhí)行。例如，將計(jì)算指令與加載指令交錯(cuò)安排，減少流水線的停頓。

• 合理使用分支預(yù)測(cè)：盡量減少分支錯(cuò)誤預(yù)測(cè)帶來(lái)的流水線清空，重排代碼或者避免難以預(yù)測(cè)的分支。

雖然亂序執(zhí)行可以大大減少流水線停頓，但代碼優(yōu)化仍能顯著提升性能。對(duì)于追求極致性能的場(chǎng)合，手動(dòng)優(yōu)化匯編代碼依然不可或缺。