本研究では、時間的な変化に対する動作検出モデルの頑健性を評価するためのベンチマークデータセットを提案している。THUMOS14-CとActivityNet-v1.3-Cと呼ばれるこれらのデータセットには、5種類の時間的な変化(ブラックフレーム、ぼかし、過剰露光、遮蔽、パケットロス)が3段階の強さで導入されている。
実験の結果、既存の動作検出モデルは時間的な変化に対して非常に脆弱であることが明らかになった。特に、エンドツーエンドのモデルは、特徴抽出器を使うモデルよりも脆弱であることがわかった。この脆弱性の主な原因は、分類エラーよりも位置推定エラーにあることが分かった。また、変化が動作の中心部分に生じた場合に最も大きなパフォーマンス低下が見られた。
さらに、FrameDropと呼ばれる新しい data augmentation 手法と、Temporal-Robust Consistency (TRC) lossを提案し、これらを組み合わせることで、既存の動作検出モデルの頑健性を大幅に向上させることができた。興味深いことに、提案手法は頑健性の向上だけでなく、クリーンなデータに対するパフォーマンスの向上にも寄与することが分かった。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Runhao Zeng,... at arxiv.org 04-01-2024
https://arxiv.org/pdf/2403.20254.pdfDeeper Inquiries