在多個 HAP 的 WP-MEC 網路中，分散式計算卸載以最小化能源供應

核心概念

為了最小化多個混合接入點 (HAP) 的無線供電行動邊緣計算 (WP-MEC) 網路的長期能源供應，本文提出了一種基於兩階段多代理深度強化學習的分散式計算卸載 (TMADO) 架構。

摘要

研究背景

隨著物聯網 (IoT) 的快速發展，自動導航和自動駕駛等新興應用對無線設備 (WD) 的計算能力提出了更高的要求。然而，大多數物聯網設備的計算能力有限。行動邊緣計算 (MEC) 作為一種有前景的技術，可以透過將計算任務從無線設備卸載到周圍的 MEC 伺服器（由接入點 (AP) 或基地台 (BS) 充當）來提高無線設備的計算能力。然而，大多數物聯網設備由容量有限的電池供電，頻繁更換電池成本高昂，甚至在難以到達的地方也不切實際。無線電力傳輸 (WPT) 技術可以透過混合接入點 (HAP) 或能量接入點 (EAP) 廣播射頻 (RF) 信號來實現無線設備的無線充電，由於其在能源供應方面的穩定性和可控性優勢，被廣泛認為是一種可行的解決方案。因此，無線供電行動邊緣計算 (WP-MEC) 近年來引起了越來越多的關注，因為它結合了 MEC 和 WPT 技術的優勢，即增強了無線設備的計算能力，同時提供了可持續的能源供應。

研究問題

WP-MEC 網路中的關鍵問題是如何合理分配能源資源並做出卸載決策，以優化各種網路性能。由於無線設備的能源供應與通信/計算需求之間的耦合關係，現有的優化方法（如凸優化和近似方法）難以很好地解決該問題。

研究方法

本文提出了一種基於兩階段多代理深度強化學習的分散式計算卸載 (TMADO) 架構，以解決多個 HAP 的 WP-MEC 網路中的長期能源供應最小化問題。TMADO 架構將問題分解為三個子問題：

• WPT 和計算數據優化 (WCDO) 子問題：優化 HAP 的傳輸功率、WPT 階段的持續時間以及卸載決策的可行解。
• 卸載決策優化 (ODO) 子問題：優化無線設備的卸載決策。
• 資源優化 (RO) 子問題：優化邊緣計算模式下無線設備卸載計算數據到 HAP 的持續時間，以及本地計算模式下無線設備的 CPU 頻率。

主要貢獻

• 為了追求多 HAP WP-MEC 網路的綠色計算設計，本文通過聯合優化 HAP 的傳輸功率、WPT 階段的持續時間、無線設備的卸載決策、卸載的時間分配和本地計算的 CPU 頻率，在能源、計算延遲和計算數據需求約束下，制定了一個能源供應最小化問題。
• 為了有效地以分散式方式解決公式化的非凸混合整數規劃 (MIP) 問題，本文將其分解為三個子問題，然後提出了一個基於兩階段多代理深度強化學習的分散式計算卸載 (TMADO) 架構來解決它們。
• 仿真結果驗證了所提出的 TMADO 架構在最小化能源供應方面的優越性。

統計資料

引述

從以下內容提煉的關鍵洞見

Distributed Computation Offloading for Energy Provision Minimization in WP-MEC Networks with Multiple HAPs

by Xiaoying Liu... 於 arxiv.org 11-04-2024

https://arxiv.org/pdf/2411.00397.pdf

深入探究

在實際應用中，如何有效地獲取無線設備的狀態信息和信道狀態信息？

在實際應用中，有效獲取無線設備的狀態信息和信道狀態信息對於 TMADO 架構的性能至關重要。以下是一些常用的方法：
1. 狀態信息獲取：

無線設備主動上報： 無線設備可以定期或事件觸發的方式將其狀態信息（例如剩餘能量、CPU 負載、數據隊列長度等）上傳至 HAP。可以使用輕量級的控制信令（例如基於 MQTT 協議）來減少上報的開銷。
HAP 輪詢查詢： HAP 可以定期輪詢查詢無線設備的狀態信息。這種方法的實時性較差，但實現相對簡單。
基於預測的狀態估計： 可以利用機器學習等技術，基於歷史數據和當前環境信息預測無線設備的狀態信息。這種方法可以減少通信開銷，但預測精度需要保證。
2. 信道狀態信息獲取：

基於導頻的信道估計： HAP 可以發送導頻信號，無線設備根據接收到的導頻信號估計信道狀態信息，並將其反饋給 HAP。這種方法的估計精度較高，但會帶來額外的通信開銷。
基於反饋的信道狀態信息共享： 無線設備可以將其估計的信道狀態信息與鄰近的無線設備或 HAP 共享，以減少重複估計的開銷。
基於位置信息的信道狀態信息預測： 可以利用無線設備的位置信息和環境地圖，結合射線追踪等技術預測信道狀態信息。
3. 注意事項：

需要根據具體的應用場景和性能需求選擇合適的狀態信息和信道狀態信息獲取方法。
需要考慮狀態信息和信道狀態信息的時效性，以及獲取過程中的通信開銷和能耗。
可以結合多種方法來提高狀態信息和信道狀態信息的獲取效率和準確性。

如果考慮無線設備的移動性，TMADO 架構的性能會受到怎樣的影響？

無線設備的移動性會對 TMADO 架構的性能產生顯著影響，主要體現在以下幾個方面：
1. 信道狀態信息變化加劇： 無線設備的移動会导致其与 HAP 之间的信道状态信息快速变化，进而影响能量收集效率和数据传输速率。TMADO 架構需要更加频繁地更新信道状态信息，并相应地调整 HAP 的发射功率、无线能量传输时间和无线设备的计算卸载策略。
2. 無線設備关联 HAP 变化： 無線設備的移動可能导致其需要切换关联的 HAP，这会增加计算卸载的延迟和通信开销。TMADO 架構需要设计高效的 HAP 切换机制，以最小化移动性对性能的影响。
3. 状态信息更新延迟： 無線設備的移動会导致其状态信息（例如位置、剩余能量等）更新不及時，进而影响 TMADO 架構的决策准确性。可以考虑采用预测机制或更频繁的状态信息更新来缓解这个问题。
4. 解决方案：

设计移动性感知的算法： 修改 TMADO 架構中的算法，使其能够适应信道状态信息和無線設備关联 HAP 的动态变化。例如，可以采用在线学习算法，根据最新的环境信息实时更新策略。
利用预测机制： 可以利用机器学习等技术，基于历史数据和当前环境信息预测信道状态信息和無線設備的移动轨迹，以提前做出决策，减少移动性带来的影响。
优化 HAP 部署： 可以通过优化 HAP 的部署位置和密度，降低無線設備移动对性能的影响。例如，可以将 HAP 部署在無線設備移动频繁的区域，或增加 HAP 的密度以提高覆盖范围。

如何將 TMADO 架構擴展到更複雜的網路場景，例如多用戶多服務器 MEC 環境？

将 TMADO 架构扩展到多用户多服务器 MEC 环境需要解决以下几个关键问题：
1. 多服务器资源分配： 需要设计高效的算法，将计算任务合理地分配到多个 MEC 服务器上，以平衡负载、提高资源利用率。可以采用基于博弈论、拍卖机制或匹配理论的方法来解决这个问题。
2. 多用户干扰协调： 多个用户同时进行计算卸载和数据传输会产生干扰，降低通信效率。可以采用干扰管理技术，例如功率控制、波束赋形、多用户 MIMO 等来缓解干扰。
3. 多服务器协作： 多个 MEC 服务器之间可以进行协作，例如共享计算资源、缓存数据、联合优化策略等，以进一步提高网络性能。可以采用分布式优化算法、联邦学习等技术来实现多服务器协作。
4. 扩展 TMADO 架构：

多代理分层架构： 可以采用多代理分层架构来管理多用户多服务器 MEC 环境。例如，可以设置一个全局代理负责协调多个 MEC 服务器，每个 MEC 服务器再作为一个局部代理管理其覆盖范围内的無線設備。
多目标优化： 在多用户多服务器 MEC 环境中，通常需要考虑多个优化目标，例如最小化能量消耗、最小化计算延迟、最大化系统吞吐量等。可以采用多目标优化算法，例如帕累托最优解、多目标强化学习等来解决这个问题。
动态环境适应： 多用户多服务器 MEC 环境更加复杂多变，需要 TMADO 架构能够自适应地调整策略。可以采用在线学习、深度强化学习等技术来实现动态环境适应。
总而言之，将 TMADO 架构扩展到多用户多服务器 MEC 环境需要综合考虑多个方面的因素，并采用更加复杂的算法和技术来解决新的挑战。