動態同時多執行緒架構

Core Concepts

本文提出了一種新的動態同時多執行緒架構(DSMT)，能夠有效地從單一程序中提取多個執行緒並同時執行。DSMT利用預測控制流和推測性執行來動態生成執行緒，並使用簡單的機制來跟蹤寄存器和內存中的執行緒間依賴關係。

Abstract

本文提出了一種新的動態同時多執行緒架構(DSMT)。DSMT能夠從單一程序中動態提取和執行多個執行緒,以提高指令級並行性(ILP)和執行緒級並行性(TLP)。

DSMT的主要特點包括:

1. 利用預測控制流和推測性執行來動態生成執行緒。
2. 使用簡單的機制跟蹤寄存器和內存中的執行緒間依賴關係,同步執行緒,並從錯誤推測中恢復。
3. 採用一種新的貪婪策略,選擇那些過去執行效率最高的代碼段。

作者開發了一個新的週期精確、基於執行的模擬器DSMTSim來評估DSMT的性能。

模擬結果顯示,DSMT對於只有單一程序可用的情況下,仍然有很好的性能提升潛力,平均可達100%的加速比。但對於非數值型應用程序,由於缺乏足夠的TLP和ILP,以及推測執行中的高錯誤率,DSMT的性能提升有限。因此,如何最大化DSMT能夠利用的TLP,同時降低推測錯誤的頻率,是一個重要的挑戰。

Stats

在Livermore Kernels中,DSMT平均可獲得34%、84%和100%的加速比,分別使用2、4和8個上下文。
在SPEC95基準測試中,DSMT平均可獲得7%、16.5%和26%的加速比,分別使用2、4和8個上下文。SPEC95浮點基準測試的加速比平均為32.5%(8個上下文)。

Quotes

"DSMT 能夠有效地從單一程序中提取多個執行緒並同時執行。"
"DSMT 利用預測控制流和推測性執行來動態生成執行緒,並使用簡單的機制來跟蹤寄存器和內存中的執行緒間依賴關係。"
"DSMT 採用一種新的貪婪策略,選擇那些過去執行效率最高的代碼段。"

Key Insights Distilled From

Dynamic Simultaneous Multithreaded Arch

by Daniel Ortiz... at arxiv.org 09-13-2024

https://arxiv.org/pdf/2409.07903.pdf

Deeper Inquiries

如何進一步提高DSMT在非數值型應用程序中的性能?

要進一步提高DSMT在非數值型應用程序中的性能，可以考慮以下幾個策略：

增強值預測機制：目前DSMT使用的值預測機制相對簡單，這可能導致在非數值型應用中出現較高的錯誤預測率。引入更複雜的值預測算法，例如基於歷史數據的多層次預測，可以提高預測的準確性，從而減少因錯誤預測而導致的執行延遲。

擴展對過程調用的支持：除了循環，DSMT可以通過動態提取過程調用中的執行緒來提高性能。這可以通過在過程調用的入口和出口處插入監控機制，來識別可並行執行的代碼段，並在運行時生成執行緒。

改進分支預測機制：目前DSMT使用的分支預測基於簡單的2位飽和計數器，這在面對複雜的控制流時可能不夠有效。引入更先進的分支預測技術，如基於歷史的分支預測，可以提高預測的準確性，從而減少因分支錯誤而導致的性能損失。

優化內存數據流機制：在非數值型應用中，內存訪問模式可能更加複雜，因此需要改進內存數據流解析表（MDRT）的設計，以減少因內存訪問造成的瓶頸。可以考慮使用更高效的緩存策略，或引入預取技術來提前加載數據。

動態調整執行緒生成策略：根據應用程序的特性，動態調整執行緒生成的策略，以便在運行時根據當前的執行狀態選擇最合適的代碼段進行並行執行，這樣可以更好地利用可用的執行資源。

除了循環之外,如何從其他程序結構(如過程調用)中提取並行執行緒,以提高DSMT的整體性能?

除了循環，從其他程序結構中提取並行執行緒的策略包括：

過程調用的動態分析：在過程調用的上下文中，DSMT可以通過分析過程的入口和出口來識別可並行的代碼段。這可以通過在過程調用時記錄其參數和返回值，並在運行時生成執行緒來實現。

異步執行：對於某些過程調用，可以考慮將其設計為異步執行，這樣在等待某個過程的結果時，可以同時執行其他獨立的任務。這樣可以減少因過程調用造成的延遲，並提高整體性能。

任務分解：將大型過程分解為多個小任務，這些小任務可以獨立執行。DSMT可以在運行時識別這些小任務並為其生成執行緒，從而提高並行性。

使用回調函數：在某些情況下，可以使用回調函數來處理過程調用的結果。這樣可以在主執行緒繼續執行其他任務的同時，等待回調函數的執行，從而提高資源的利用率。

數據依賴性分析：在過程調用中，進行數據依賴性分析以確定哪些變量可以在不同的執行緒中獨立處理。這樣可以在不影響程序正確性的情況下，生成更多的並行執行緒。

如何設計一種自適應機制,在運行時動態調整DSMT使用的上下文數量,以最大化性能?

設計一種自適應機制以動態調整DSMT使用的上下文數量，可以考慮以下幾個步驟：

性能監控：在運行時持續監控系統性能指標，如指令每周期（IPC）、執行緒的錯誤預測率、內存訪問延遲等。這些指標可以幫助判斷當前的上下文數量是否適合當前的工作負載。

自適應調整算法：根據性能監控的結果，設計一個自適應調整算法。當性能指標顯示出過多的上下文導致資源競爭或高錯誤預測率時，算法可以自動減少上下文數量；反之，當指標顯示有潛力提高性能時，則可以增加上下文數量。

上下文管理策略：實施一種上下文管理策略，根據當前的執行狀態和性能需求，動態創建或銷毀上下文。這可以通過在執行緒之間共享上下文來減少上下文切換的開銷。

預測模型：建立一個預測模型，根據歷史執行數據預測未來的性能需求。這樣可以在性能下降之前主動調整上下文數量，從而提高整體性能。

用戶定義的參數：允許用戶根據特定應用程序的需求設置一些參數，以便在運行時進行微調。這樣可以根據不同的應用場景進行優化，從而達到最佳性能。

通過這些策略，DSMT可以在運行時靈活調整上下文數量，以最大化性能並提高資源利用率。