向量架構的雙室快取：分離式快取設計

Główne pojęcia

提出一種新的快取組織，稱為雙室快取(Bicameral Cache)，針對向量架構的特性進行優化設計。該設計將標量和向量存取分離到不同的快取分區，以避免它們之間的干擾，並利用向量存取的特性進行預取以提升效能。

Streszczenie

本文提出了一種新的快取組織，稱為雙室快取(Bicameral Cache)，專門針對向量架構的特性進行優化設計。

雙室快取由兩個不同組織的快取分區組成:

1. 標量快取(Scalar Cache)：用於處理標量記憶體指令的存取。採用傳統的組織,如4路組關聯性。
2. 向量快取(Vector Cache)：用於處理向量記憶體指令的存取。採用完全關聯的組織,並使用較長的快取行。

這種分離設計的目的是避免標量和向量存取之間的干擾,並能更好地利用向量存取的空間局部性。

此外,雙室快取還包含一個記憶體側的預取機制,能夠在向量快取線中預先填充後續的資料扇區,進一步提升效能。

在評估中,使用了多種典型的向量基準測試程式,包括stride-1和non-stride-1的存取模式。結果顯示,對於stride-1的基準測試,雙室快取搭配預取機制可以達到平均1.57倍的加速比。即使在non-stride-1的情況下,也能達到平均11%的效能提升。

總的來說,雙室快取的設計能夠有效地利用向量處理的特性,在不增加快取容量的情況下,透過快取組織的重新設計和預取機制的加入,顯著提升了向量程式的效能。

Statystyki

向量長度為1024位元時,在stride-1基準測試中,雙室快取的平均記憶體存取時間從8.47個週期降至4.52個週期。
在non-stride-1基準測試中,雙室快取的平均記憶體存取時間從8.94個週期降至8.47個週期。

Cytaty

"The Bicameral Cache is a cache organization proposal for a vector architecture that segregates data according to their access type, distinguishing scalar from vector references."
"Its aim is to avoid both types of references from interfering in each other's data locality, with a special focus on prioritizing the performance on vector references."
"The proposed system incorporates an additional, non-polluting prefetching mechanism to help populate the long vector cache lines in advance to increase the hit rate by further exploiting the spatial locality on vector data."

Kluczowe wnioski z

The Bicameral Cache: a split cache for vector architectures

by Susana Rebol... o arxiv.org 09-25-2024

https://arxiv.org/pdf/2407.15440.pdf

Głębsze pytania

如何進一步提升雙室快取在non-stride-1基準測試中的效能?

要進一步提升雙室快取在non-stride-1基準測試中的效能，可以考慮以下幾個策略：

改進預取機制：雖然雙室快取已經包含了一個非污染的預取機制，但對於non-stride-1的訪問模式，可能需要更智能的預取策略。例如，可以根據歷史訪問模式來預測未來的訪問，並提前加載可能會被訪問的數據。這樣可以減少cache miss的次數，從而提高效能。

動態調整快取行大小：針對non-stride-1訪問模式，可能需要動態調整快取行的大小，以便更好地適應不同的數據訪問模式。這可以通過監控實際的訪問模式來實現，並根據需要調整快取行的大小，以提高數據的局部性。

優化快取替換策略：目前雙室快取使用的是最近最少使用（LRU）替換策略。對於non-stride-1的訪問模式，可以考慮引入其他替換策略，如基於訪問頻率的替換策略，這樣可以更好地保留那些可能會被重複訪問的數據。

增強數據預取的行為：可以考慮在快取中引入更高級的數據預取行為，例如基於數據流的預取，這樣可以在訪問模式不規則的情況下，仍然能夠有效地預取數據。

結合多層快取架構：將雙室快取與多層快取架構結合，可能會進一步提高效能。這樣可以在不同層次的快取中針對不同的訪問模式進行優化，從而提高整體的數據訪問效率。

雙室快取的設計是否可以應用於其他類型的處理器架構,而不僅限於向量處理器?

雙室快取的設計確實可以應用於其他類型的處理器架構，而不僅限於向量處理器。以下是幾個理由：

數據訪問模式的多樣性：許多處理器架構在執行不同類型的應用時，會面臨不同的數據訪問模式。雙室快取的設計可以根據訪問模式的特性，將數據分為不同的區域，從而提高快取的命中率和整體效能。

局部性原則的應用：無論是向量處理器還是標量處理器，局部性原則（包括時間局部性和空間局部性）都是影響快取效能的關鍵因素。雙室快取的設計可以針對不同類型的局部性進行優化，這使得它在其他處理器架構中同樣具有潛在的效益。

可擴展性：雙室快取的設計具有良好的可擴展性，可以根據不同的處理器需求進行調整和擴展。這使得它能夠適應各種不同的處理器架構，包括多核處理器和嵌入式系統。

能效考量：在現代計算中，能效是一個重要的考量因素。雙室快取的設計可以通過減少不必要的數據訪問來提高能效，這對於各種處理器架構都是有益的。

雙室快取的設計是否可以與其他快取優化技術(如分層快取、快取置換策略等)結合,以達到更好的整體效能?

雙室快取的設計可以與其他快取優化技術結合，以達到更好的整體效能。以下是幾種可能的結合方式：

分層快取架構：將雙室快取與分層快取架構結合，可以在不同層次的快取中針對不同的數據訪問模式進行優化。這樣可以在更高層次的快取中保留更頻繁訪問的數據，而在較低層次的快取中處理較少訪問的數據，從而提高整體的數據訪問效率。

快取置換策略的整合：雙室快取目前使用的是LRU替換策略，但可以考慮與其他替換策略結合，例如基於訪問頻率的替換策略或自適應替換策略。這樣可以根據實際的訪問模式動態調整替換策略，以提高快取的命中率。

預取技術的結合：雙室快取的預取機制可以與其他預取技術結合，例如基於歷史訪問模式的預取或基於數據流的預取。這樣可以進一步提高預取的準確性和效率，減少cache miss的次數。

快取壓縮技術：結合快取壓縮技術，可以在雙室快取中存儲更多的數據，從而提高快取的有效容量。這對於需要處理大量數據的應用特別有用。

能效優化：雙室快取的設計可以與能效優化技術結合，例如動態電壓和頻率調整（DVFS），以在不同的工作負載下調整快取的性能和能耗，從而達到更好的整體效能。

通過這些結合，雙室快取的設計可以在不同的處理器架構和應用場景中實現更高的效能和能效。