核心概念
本文提出了一種基於個性化聯邦學習(PSFL)的生成式 AI 語義通訊(GSC)模型,以解決傳統通訊方法在頻譜資源利用方面的挑戰,特別是在行動用戶(MU)上。
本文提出了一種新穎的語義通訊(SC)模型,稱為生成式 AI 輔助語義通訊(GSC),用於行動用戶(MU)與基地台(BS)之間的通訊,旨在提高有限頻譜資源的利用率。為了在保護隱私和安全性的同時,在 MU 上訓練 GSC 模型,本文進一步提出了個性化語義聯邦學習(PSFL)框架。
研究背景
隨著 6G 時代的到來,語義通訊(SC)作為一種創新的通訊範式,逐漸成為解決行動用戶(MU)上各種新興應用程式所導致的頻譜資源犧牲問題的智慧解決方案之一。與傳統通訊不同,SC 旨在僅傳輸與任務/目標語義相關的資訊。
研究挑戰
語義提取能力不足:現有的基於卷積神經網路(CNN)的圖像語義編碼器和解碼器難以同時兼顧圖像的全局和局部語義特徵。
聯邦學習(FL)中異構設備的模型適應性:不同 MU 擁有不同的本地數據規模和計算資源,需要適應不同複雜度的模型。
動態網路中的高通訊開銷:傳統 FL 演算法雖然利用多個 MU 的本地數據進行分散式訓練,確保了數據隱私和安全性,但由於頻繁的參數交換,通常會導致大量的網路流量和通訊開銷。
解決方案
1) GSC 模型
考慮到 CNN 的缺點,GSC 模型在語義編碼器和解碼器中均採用了視覺Transformer(ViT)網路。作為一種常見的處理圖像的生成式 AI 網路,ViT 可以通過多頭自注意力機制在發送端實現對傳輸圖像更準確的語義特徵提取,在接收端實現更精確的圖像重建。
2) PSFL 框架
個性化本地蒸餾(PLD)策略: 在本地訓練階段,每個 MU 不僅根據其本地資源部署合適的 GSC 模型,還部署統一的小型 CNN 語義通訊(CSC)模型。GSC 模型用於訓練後的 SC 服務,而 CSC 模型則作為傳輸 GSC 模型知識的載體,上傳至 BS 進行參數聚合,然後返回本地 MU,將新聚合的知識傳回 GSC 模型。
自適應全局剪枝(AGP)演算法: 在全局聚合階段,根據 MU 與 BS 之間的實時信噪比(SNR)對聚合後的全局 FL 模型(即更新後的 CSC 模型)進行自適應剪枝。
實驗結果
實驗結果表明,與傳統的 FedAvg 演算法相比,PSFL 在 MNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100 數據集上均取得了更低的損失和更高的準確率。
PSFL 在動態 SNR 環境下,能夠有效降低通訊能耗,實現模型精度和能耗之間的良好折衷。