地球-太空协作通信的进化多目标深度强化学习

Core Concepts

本文提出了一种基于分布式协作波束成形(DCB)的上行通信范式,以增强地面终端到低地球轨道(LEO)卫星的上行链路传输性能和持续时间。为了满足不同场景的需求,我们进行多目标优化分析并提出了一个长期优化问题。为了应对不同规模的终端集群,我们将该问题重新表述为一个动作空间缩减和通用的多目标马尔可夫决策过程。然后,我们提出了一种进化的多目标深度强化学习算法来获得理想的策略,其中通过屏蔽低价值动作来加快训练过程。这样,一次训练的模型的适用性可以覆盖更多变化的地面-卫星上行链路场景。

Abstract

本文提出了一种基于分布式协作波束成形(DCB)的地面-太空直接通信方法。DCB将无法直接与低地球轨道(LEO)卫星建立有效连接的终端视为分布式天线,形成一个虚拟天线阵列,以增强终端到卫星的上行链路可实现速率和持续时间。
为了满足不同场景的需求,该系统需要多个权衡策略,平衡终端-卫星上行链路可实现速率、终端能耗和卫星切换频率。因此,我们进行了多目标优化分析,并将其建模为一个长期优化问题。
为了应对不同规模的终端集群,我们将问题重新表述为一个动作空间缩减和通用的多目标马尔可夫决策过程。然后,我们提出了一种进化的多目标深度强化学习算法来获得理想的策略,其中通过屏蔽低价值动作来加快训练过程。这样,一次训练的模型的适用性可以覆盖更多变化的地面-卫星上行链路场景。
仿真结果表明,所提出的算法优于各种基准算法。此外,发现DCB使无法达到上行链路可实现阈值的终端也能实现有效的直接上行传输,这表明DCB是实现地面-太空直接通信的有效解决方案。此外,所提出的算法还能实现偏好不同目标的多个策略,并以较低的切换频率实现近最优的上行链路可实现速率。

Stats

终端i在时隙t与卫星ℓ之间的信道系数为:
hi,ℓ(t) = √β0d−α
i,ℓejψi,ℓ(t)

在时隙t,虚拟天线阵列接收到的信号为:
y(t) = ∑∀i∈I √Pi(t)β0d−α
i,stej(ϕi(t)+ψi,st(t))s + v

信噪比(SNR)为:
γSNR(t) = ∑∀i∈I √Pi(t)β0d−α
i,st 2/σ2

上行链路可实现速率为:
R(t) = B log2(1 + γSNR(t))

Quotes

无

Key Insights Distilled From

Collaborative Ground-Space Communications via Evolutionary Multi-objective Deep Reinforcement Learning

by Jiahui Li,Ge... at arxiv.org 04-12-2024

https://arxiv.org/pdf/2404.07450.pdf

Deeper Inquiries

質問1

DCBの地上-宇宙通信における適用性をさらに向上させるためには、より複雑なチャネルモデルや端末の分布を考慮することが重要です。例えば、地形や建物などの障害物がある環境では、信号の反射や散乱が影響を与える可能性があります。このような複雑な環境下での通信を考慮するために、より現実的な信号伝搬モデルを導入することが有益でしょう。また、端末の分布が不均一である場合や端末数が増加する場合にも、システムが適切に機能するように設計することが重要です。

質問2

特定のシナリオに対応するための多目標最適化戦略を設計するためには、緊急時において上りリンク速度を最大化することを優先するなど、シナリオに応じた重要な目標を考慮する必要があります。例えば、災害時や緊急時には通信の信頼性や速度が重要となるため、そのような状況下での最適な通信戦略を構築することが重要です。シナリオに応じて異なる重要な目標を考慮し、適切な多目標最適化戦略を設計することが必要です。

質問3

この方法は、地上-宇宙通信以外の分散システムにも適用可能です。例えば、無人航空機ネットワークや産業用インターネット・オブ・シングス（IoT）など、他の非地上-宇宙通信システムにも応用することができます。この方法は、複数の最適化目標を考慮し、異なるシナリオに適応する柔軟性を持っているため、さまざまな分散システムに適用することが可能です。新たなシナリオに対応するためには、一部のパラメータを調整することで容易に適用できる柔軟性があります。