SAM-DA: UAV Tracks Anything at Night with SAM-Powered Domain Adaptation

Conceptos Básicos

SAM-DA proposes a novel framework for real-time nighttime UAV tracking using SAM-powered domain adaptation, enhancing training sample quality and reducing the reliance on raw images.

Resumen

I. Introduction

• Object tracking crucial for UAV applications.
• SOTA trackers struggle in low-light conditions.
• Domain adaptation introduced for nighttime UAV tracking.

II. Proposed Method

• SAM-powered DA framework introduced.
• SAM-powered target domain training sample swelling designed.
• Experiments validate robustness of SAM-DA for nighttime UAV tracking.

III. Experiments

• Implementation details and data used.
• Evaluation on DarkTrack2021 and NUT-L benchmarks.
• Analysis on training sample swelling and fewer-better training.

IV. Conclusion

• Introduction of SAM into day-night domain adaptation enhances tracker performance.

V. References

Estadísticas

この作業では、夜間UAVトラッキングのための新しいSAMパワードドメイン適応フレームワークであるSAM-DAが提案されています。

Citas

"An innovative SAM-powered target domain training sample swelling is designed to determine enormous high-quality target domain training samples from every single challenging nighttime image."
"Comprehensive experiments on extensive nighttime videos prove the robustness and domain adaptability of SAM-DA for nighttime UAV tracking."

Ideas clave extraídas de

SAM-DA

by Changhong Fu... a las arxiv.org 03-26-2024

https://arxiv.org/pdf/2307.01024.pdf

Consultas más profundas

どのようにしてSAMを使用して高品質なトレーニングサンプルを生成することが、夜間UAVトラッキングの性能向上につながりますか？

SAMを使用して高品質なトレーニングサンプルを生成することによって、夜間UAVトラッキングの性能向上が実現されます。具体的には、SAMは巨大なデータ駆動型アプローチを持ち、正確な位置や境界情報を含む多数の潜在オブジェクトを発見できるため、一つの原画像から多くの高品質なターゲットドメイン訓練サンプルが生成されます。この新しい「1対多」世代手法は、ドメイン適応用の高品質ターゲットドメイン訓練サンプル数が拡大し、SOTAトラッカーの夜間UAV追跡パフォーマンスも向上します。したがって、SAMによる強力なゼロショット汎化能力と堅牢性に基づく大規模で高品質な訓練サンプルは、「1対1」世代手法では不可能だった多様性や精度向上をもたらすことで夜間UAV追跡課題へ有益です。

この研究は他のビジョンタスクへのドメイン適応にどう貢献しますか？

この研究ではSAM-DAフレームワーク内で優れたSAMモデルを導入しました。これは日夜ドメイン適応用途で初めて行われました。提案された SAM-DA フレームワークおよびその SAM-powered ターゲットドメイン訓練サンプル膨張手法は異種無人システム全般（特定）ビジョントラッキング等）でも利用可能です。

SAM が他 のビジョ タ ス ク で広範囲 使われている場合, 夕方 UAV 追 蹤 の影 響

提案さ れた方法 を考えません 。 現在 の文脈では , SAM - DA - Track を通じて 提供さ れる 巨 大 高 品 質 訓 練 標本 及び 弱点光源条件下 の低 コント ラストイ マージ及び雑音量ある 夕 方映像問題 を解消す る効果 的 方法 を示す 。 更 に, 実際 の試験結 析から , 提案さ れた 手 法 (SA M - DA - Track )が速 効率的・信頼 性あるリア ルタイム 追蹤任務 対処出来事 示しまし .