Conceitos Básicos
提案するDeTurbフレームワークは、幾何学的な歪みを軽減する非剛体登録モジュールと、詳細を強化する特徴融合モジュールから構成されており、従来手法を大きく上回る性能を発揮する。
Resumo
本論文は、長距離撮影における大気乱流の影響を軽減するための新しいフレームワークDeTurbを提案している。DeTurbは2つのモジュールから構成される:
非剛体登録モジュール
変形3Dコンボリューションを用いて、フレーム間のランダムな幾何学的歪みを推定し、補正する。
ピラミッド構造のUNetアーキテクチャを採用し、様々なスケールの歪みに対応する。
特徴融合モジュール
3D Swin Transformerを用いて、登録済みのフレームから特徴を抽出し、融合する。
局所的な詳細と大域的な意味情報を組み合わせることで、鮮明な画像を再構築する。
提案手法は、従来の大気乱流軽減手法と比較して、合成データおよび実データの両方で優れた性能を示した。特に、PSNR、SSIM、LPIPSの客観的評価指標において高い値を達成し、視覚的にも鮮明で安定した結果が得られている。変形3Dコンボリューションと3D Swin Transformerの組み合わせが、大気乱流の複雑な時空間的な歪みに効果的に対処できることが示された。
Estatísticas
大気乱流の影響により、撮影された画像の強度と位相が乱れ、画質が大幅に劣化する。
従来の手法は、光学流れ法による傾きの補正や、ラッキーイメージ融合、盲目的な逆畳み込みなどを用いているが、十分な性能が得られていない。
深層学習手法も提案されているが、実データに対する一般化性能が課題となっている。
Citações
"Atmospheric turbulence in long-range imaging significantly degrades the quality and fidelity of captured scenes due to random variations in both spatial and temporal dimensions."
"Successful approaches will be invaluable in many applications, including air-to-ground imaging, long-range terrestrial video surveillance, creative industries such as natural history filmmaking, and other computer vision applications, including object recognition and tracking."