加州大學團隊開發(fā)異構編程新模型，開辟提升處理器性能新路徑
加入技術交流群
圖丨曾宏偉（來源：加州大學河濱分校） 為了處理不同類型的數(shù)據(jù)，現(xiàn)代計算機大都集成了多種處理器，并引入異構計算模型以提升性能。然而，由于傳統(tǒng)的編程框架，包括領域特定語言（domain-specific languages），只能將代碼區(qū)域（code region）分配給一種處理器，使得其他計算資源閑置而無法用于當前函數(shù)的運算，因此現(xiàn)有編程模型并不能充分發(fā)揮異構模型的潛力。 而這項名為“同步異構多線程”（simultaneous and heterogenous multithreading，SHMT）的編程和執(zhí)行模型，旨在克服現(xiàn)有編程模型未能充分利用異構計算系統(tǒng)潛力的限制。 與傳統(tǒng)模型不同，SHMT 可以充分利用異構的并行類型。通過結合多種處理單元（如 CPU、GPU、TPU 等）的優(yōu)勢，這種模型能有效提升計算效率和能效。
圖丨 SHMT 的執(zhí)行模型（c）相比于傳統(tǒng)異構計算機（a）與使用了軟件流水技術的傳統(tǒng)異構計算機（b）的優(yōu)勢（來源：the 56th Annual IEEE/ACM International Symposium on Microarchitecture） 此前的研究已經(jīng)證明，使用了不同處理模型與設計理念的協(xié)處理器和硬件加速器，都能以出色的性能執(zhí)行相同的函數(shù)，這為 SHMT 的實現(xiàn)提供了可能。不過，要將同一函數(shù)的計算分解到不同類型的計算資源中，系統(tǒng)面臨以下三個挑戰(zhàn)： 第一，SHMT 需要某種機制來描述和劃分在不同的計算分區(qū)上的等效操作和數(shù)據(jù)； 第二，SHMT 必須能夠高效地協(xié)調異構硬件上的執(zhí)行； 第三，由于不同的硬件單元會提供不同質量水平的結果，SHMT 必須在不產(chǎn)生大量額外開銷的情況下確保結果。 為了解決這些困難，研究人員開發(fā)了一個由三個主要部分組成的系統(tǒng)架構： 首先，SHMT 引入了一種虛擬硬件的概念，允許開發(fā)者將計算任務借助一系列虛擬操作（Virtual Operations，VOPs）的形式從 CPU“卸載”。
VOPs 定義了 SHMT 底層硬件可支持的可用操作，進而使整個 SHMT 子系統(tǒng)抽象為一個單一且強大的加速器。
圖丨矢量或矩陣平鋪處理模型類型的 VOP 列表（來源：the 56th Annual IEEE/ACM International Symposium on Microarchitecture） 其次，SHMT 有一套至關重要的運行時系統(tǒng)。它不僅作為虛擬硬件的“驅動程序”，在程序執(zhí)行期間動態(tài)解析 VOPs，還負責評估硬件資源的能力，并據(jù)此做出智能的調度決策。它將 VOPs 進一步分解為高級操作（High-Level Operations，HLOPs），這些 HLOP 作為 SHMT 中的基本調度單位，每個 HLOP 負責執(zhí)行 VOP 運算的特定部分，且均具有硬件無關性，確保了運行時系統(tǒng)能夠根據(jù)實際情況靈活調整任務分配。 更進一步地，SHMT 采用了一種質量感知的工作竊?。≦uality-Aware Work-Stealing，QAWS）調度策略，以優(yōu)化資源利用率和提升系統(tǒng)性能。
這種策略通過動態(tài)調整工作負載分配來平衡各種硬件資源的使用，減少空閑時間，避免性能瓶頸，同時保證了任務執(zhí)行的質量。
圖丨SHMT 概覽（來源：the 56th Annual IEEE/ACM International Symposium on Microarchitecture）
該系統(tǒng)原型由下圖所示部分構成：
圖丨 SHMT 原型平臺構成示意圖（來源：DeepTech）在基準應用程序上的檢測結果顯示，相較于基準方法，采用性能最佳策略的 QAWS 的 SHMT 速度提高了 1.95 倍。 實驗表明，所有 QAWS 策略均能有效地提高結果質量，MAPE（平均絕對百分比誤差）平均值低于 2%，接近于手動優(yōu)化的 Oracle 場景。且無論采樣率如何變化，QAWS-TS 策略的性能都名列前茅。
圖丨（a）質量與 QAWS 采樣率的關系，（b）速度提升與 QAWS 采樣率的關系（來源：the 56th Annual IEEE/ACM International Symposium on Microarchitecture） 更為重要的是，由于 SHMT 減少了執(zhí)行時間，并將計算任務轉移到耗電更低的 Edge TPU 上，因此它在節(jié)約能耗方面展現(xiàn)出了巨大潛力。實驗結果顯示，與基線 GPU 相比，SHMT 在 QAWS-TS 策略下平均減少了 51% 的能耗和 78% 的能量延遲積。
同時，得益于 Edge TPU 專用邏輯提供的加速功能，以及 SHMT 并行編程模型使用的低數(shù)據(jù)交換算法，這一模型也不會導致顯著的內(nèi)存和通信開銷。
圖 | 相關論文（來源：the 56th Annual IEEE/ACM International Symposium on Microarchitecture）近日，相關論文以《同步異構多線程》（Simultaneous and Heterogenous Multithreading）為題，在加拿大多倫多舉行的第 56 屆 IEEE/ACM 國際微架構研討會上發(fā)表[1]。
加州大學河濱分校的博士研究生徐冠杰（Kuan-Chieh Hsu）為第一作者，曾宏偉副教授擔任通訊作者。
曾宏偉對媒體表示，“你不必增加新的處理器，因為現(xiàn)有的就足夠了。”因此，僅需使用現(xiàn)有的處理組件，就相當于降低了計算機硬件成本，同時減少了服務器等設備運行時的能源消耗，也減少了碳排放與水消耗。 但這一模型也面臨一些挑戰(zhàn)與局限性。例如，如何有效管理和調度多種類型的計算資源以實現(xiàn)最優(yōu)能效、如何降低編程模型的復雜性、如何降低通信開銷以及如何擴展應用平臺與場景等問題，而這些也正是曾宏偉團隊未來的研究方向。
參考文獻：
1.Kuan-Chieh Hsu and Hung-Wei Tseng. 2023. Simultaneous and Heterogenous Multithreading. In Proceedings of the 56th Annual IEEE/ACM International Symposium on Microarchitecture (MICRO '23). Association for Computing Machinery, New York, NY, USA, 137–152. https://doi.org/10.1145/3613424.3614285
2.https://news.ucr.edu/articles/2024/02/21/method-identified-double-computer-processing-speeds
支持：Ren
排版：劉雅坤
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權請聯(lián)系工作人員刪除。
