針對無伺服器微型虛擬機的快速高效記憶體回收機制

核心概念

HotMem 透過將虛擬記憶體劃分為專用區塊並優化記憶體熱插拔介面，實現了無伺服器微型虛擬機中快速且無干擾的記憶體回收，顯著提升資源利用率和效能。

摘要

研究背景
無伺服器運算，特別是功能即服務 (FaaS) 模型，近年來成為雲端運算的主流典範。為了在多租戶環境中提供強大的隔離性，FaaS 供應商通常使用虛擬機 (VM) 或微型虛擬機 (microVM) 來隔離函數。然而，現有的虛擬機記憶體彈性機制在縮減記憶體時，特別是在釋放記憶體時，會遇到回收延遲增加的問題，同時還會增加 CPU 和記憶體頻寬的負擔。
HotMem 設計理念
HotMem 是一種針對以虛擬機為基礎的無伺服器函數，實現快速高效虛擬機記憶體熱插拔的新穎方法。其核心概念是將虛擬熱插拔記憶體區域與常規虛擬機記憶體分隔，從而限制這些區域內分配的壽命，進而實現快速有效的回收。
HotMem 運作機制

記憶體分區： HotMem 將客戶機記憶體劃分為區塊，每個區塊足以容納單一函數實例的完整占用空間，並擴展作業系統記憶體管理器，將每個實例分配到專用的分區。
區塊感知的熱插拔： HotMem 擴展了熱插拔介面，使其能夠感知這些分區，在插入操作期間動態填充分區，並在拔出請求期間立即縮減分區。
區分共用與私有分配： 為了保留多容器單一虛擬機模型的記憶體節省優勢，HotMem 為每個虛擬機採用共用分區來支援所有實例的檔案映射，並使用私有分區來支援實例的匿名映射。

優點

資源彈性： HotMem 能夠根據在同一個虛擬機中執行的活動函數實例總數的記憶體需求，相應地擴展和縮減其記憶體資源。
資源共享： HotMem 允許在同一個虛擬機中執行的函數實例之間共享狀態（例如程式庫），以保留多容器單一虛擬機模型的記憶體節省優勢。
零干擾： HotMem 不會影響虛擬機中已在執行的函數實例的效能。
評估結果
HotMem 在回收虛擬機記憶體方面的速度比現有技術快一個數量級，通常允許在不到一秒的時間內回收數 GB 的記憶體。它還能在動態擴展和縮減資源的同時，實現與靜態過度配置虛擬機相當的 P99 延遲。
總結
HotMem 透過解決現有虛擬機記憶體彈性機制的效能瓶頸，為無伺服器函數提供了快速且無干擾的記憶體回收機制，顯著提升了資源利用率和效能。

統計資料

HotMem 在回收虛擬機記憶體方面的速度比現有技術快一個數量級。
HotMem 通常允許在不到一秒的時間內回收數 GB 的記憶體。
HotMem 能夠在動態擴展和縮減資源的同時，實現與靜態過度配置虛擬機相當的 P99 延遲。
HotMem 記憶體回收吞吐量比現有技術高 7 倍。

從以下內容提煉的關鍵洞見

Fast and Efficient Memory Reclamation For Serverless MicroVMs

by Orestis Lagk... 於 arxiv.org 11-21-2024

https://arxiv.org/pdf/2411.12893.pdf

深入探究

HotMem 如何應用於更複雜的無伺服器部署模型，例如多節點叢集？

HotMem 的設計理念主要針對單一虛擬機內的多容器部署模型，著重於優化記憶體回收速度和效率。若要應用於多節點叢集等更複雜的無伺服器部署模型，需要克服以下挑戰：

跨節點記憶體管理： HotMem 目前僅限於單一虛擬機內部的記憶體管理。在多節點叢集中，需要開發新的機制來協調跨節點的 HotMem 分區和記憶體分配。
資料局部性： HotMem 沒有考慮到函數執行時可能需要存取儲存在不同節點上的資料。在多節點環境中，需要確保函數實例及其所需資料盡可能位於同一節點，以減少資料傳輸成本。
容錯機制： 多節點叢集引入了節點故障的可能性。 HotMem 需要整合容錯機制，例如在節點故障時將 HotMem 分區遷移到其他節點，以確保服務的可用性。
以下是一些可能的解決方案：

分散式 HotMem： 可以開發分散式版本的 HotMem，允許跨多個節點管理 HotMem 分區。這需要一個分散式協調服務來管理分區分配和追蹤空閒記憶體資源。
感知資料局部性的排程： 無伺服器運行時可以整合感知資料局部性的排程演算法，將函數實例排程到擁有其所需資料的節點上，並優先使用該節點上的 HotMem 分區。
複製和備援： 可以複製 HotMem 分區到多個節點，以提供容錯能力。當一個節點發生故障時，其他節點上的副本可以接管其工作負載。
總之，將 HotMem 應用於多節點叢集需要解決跨節點記憶體管理、資料局部性和容錯等挑戰。透過開發新的機制和演算法，HotMem 的設計理念可以擴展到更複雜的無伺服器部署模型，進一步提高資源利用率和性能。

HotMem 的記憶體分區策略是否可以根據工作負載特徵進行動態調整，以進一步優化效能？

目前 HotMem 採用固定大小的記憶體分區策略，每個分區的大小在虛擬機啟動時設定，並與函數的記憶體需求相符。雖然這種設計簡化了記憶體管理，但可能無法適應所有工作負載。
動態調整 HotMem 記憶體分區策略可以根據工作負載特徵進一步優化效能：

根據記憶體使用量調整分區大小： HotMem 可以監控每個函數實例的實際記憶體使用量，並根據需要動態調整分區大小。例如，如果一個函數實例只需要一半的分配記憶體，HotMem 可以縮小其分區大小，釋放剩餘記憶體給其他實例使用。
根據執行時間調整分區大小： 對於執行時間較短的函數實例，可以使用較小的分區，而對於執行時間較長的函數實例，可以使用較大的分區。
根據函數類型調整分區大小： 可以根據函數的類型和記憶體使用模式，預先設定不同的分區大小。例如，對於記憶體密集型函數，可以使用較大的分區，而對於 CPU 密集型函數，可以使用較小的分區。
動態調整分區大小的挑戰：

記憶體碎片化： 頻繁調整分區大小可能導致記憶體碎片化，降低記憶體分配效率。
效能開銷： 監控記憶體使用量和調整分區大小會帶來一定的效能開銷。
為了克服這些挑戰，可以採用以下策略：

使用記憶體池： HotMem 可以維護不同大小的記憶體池，根據需要從池中分配和釋放記憶體分區，減少外部碎片化。
延遲調整分區大小： HotMem 可以定期調整分區大小，而不是每次記憶體使用量發生變化時都進行調整，以降低效能開銷。
總之，根據工作負載特徵動態調整 HotMem 記憶體分區策略可以進一步優化記憶體使用效率和性能。然而，需要仔細評估調整策略的成本和收益，並採用適當的機制來應對記憶體碎片化和效能開銷等挑戰。

HotMem 的設計理念是否可以應用於其他資源管理問題，例如 CPU 或網路頻寬分配？

HotMem 的核心設計理念是基於預先分配和隔離資源，以減少資源競爭和提高資源回收效率。這種理念可以應用於其他資源管理問題，例如 CPU 或網路頻寬分配。
CPU 分配：

CPU 分區： 類似於 HotMem 的記憶體分區，可以將 CPU 核心劃分為專用分區，每個分區分配給特定的函數實例。
CPU 親和性： 可以將函數實例及其相關的執行緒或程序绑定到特定的 CPU 核心上，以減少上下文切換和快取失效的開銷。
CPU 配額： 可以為每個函數實例設定 CPU 使用配額，限制其最大 CPU 使用量，避免單一函數實例佔用過多 CPU 資源。
網路頻寬分配：

虛擬網路介面卡（vNIC）分區： 可以為每個函數實例分配專用的 vNIC，並將其連接到虛擬交換機上的特定佇列，以隔離網路流量。
頻寬保證： 可以為每個函數實例設定最低頻寬保證，確保其獲得足夠的網路頻寬，避免網路擁塞影響函數執行。
流量整形： 可以根據函數的網路流量特徵，對其網路流量進行整形，例如限制突發流量，以提高網路資源利用率。
然而，將 HotMem 理念應用於 CPU 和網路資源管理也面臨一些挑戰：

資源異構性： 與記憶體不同，CPU 和網路資源通常具有更高的異構性，例如不同 CPU 核心的性能可能不同，不同網路介面的頻寬也不同。
資源共享： CPU 和網路資源通常需要在多個函數實例之間共享，例如多個函數實例可能共享同一個 CPU 核心或網路介面。
總之，HotMem 的設計理念可以為 CPU 和網路資源管理提供有價值的參考，但需要根據具體的資源類型和應用場景進行調整和優化。透過借鑒 HotMem 的設計理念，可以開發更高效、更靈活的資源管理機制，提高無伺服器平台的性能和資源利用率。