核心概念
提出一種名為COSMIC的新穎學習式影像壓縮方法,通過在衛星上部署輕量化編碼器和在地面站部署基於擴散的補償模型,實現衛星影像的高效壓縮傳輸。
摘要
本文提出了一種名為COSMIC的新穎學習式影像壓縮方法,以解決衛星影像快速增長與有限傳輸能力之間的矛盾。
COSMIC包含兩個關鍵組件:
- 在衛星上部署的輕量化編碼器:為了適應衛星的計算資源限制,我們設計了一個輕量化的卷積架構作為編碼器,大幅降低了FLOPs,同時仍能保持良好的壓縮性能。
- 在地面站部署的基於擴散的補償模型:由於輕量化編碼器的特徵提取能力降低,導致解碼時缺失一些細節信息。因此,我們利用衛星影像的多模態特性(影像及其對應的傳感器數據),引入基於擴散的補償模型,在解碼時補償缺失的細節信息。
實驗結果表明,COSMIC在保持較低比特率的同時,在感知指標和失真指標上均優於現有的基準方法,同時大幅降低了在衛星上的計算開銷。此外,COSMIC對下游遙感任務的影響也很小。
統計資料
與基準方法相比,COSMIC在衛星上的FLOPs減少了2.6~5倍。
在低比特率下,COSMIC的LPIPS和FID指標顯著優於基準方法。
在高比特率下,COSMIC的PSNR和MS-SSIM指標也優於基準方法。
引述
"提出一種名為COSMIC的新穎學習式影像壓縮方法,通過在衛星上部署輕量化編碼器和在地面站部署基於擴散的補償模型,實現衛星影像的高效壓縮傳輸。"
"利用衛星影像的多模態特性(影像及其對應的傳感器數據),引入基於擴散的補償模型,在解碼時補償缺失的細節信息。"