Keskeiset käsitteet
Motion-Corrected Moving Average (MCMA) improves video segmentation by incorporating temporal information without altering the model architecture.
Tiivistelmä
この論文は、動画セグメンテーションにおいて、過去の予測と現在の情報を組み合わせることで、時間的な情報を取り入れる方法であるMotion-Corrected Moving Average(MCMA)を提案しています。従来の手法では、過去の予測に重点を置く指数移動平均(EMA)が広く使用されてきましたが、その欠点を補うために光学フローと組み合わせた新しい手法が導入されています。この手法は、モデルやデータセットの変更を必要とせずに、任意のセグメンテーションモデルに時間的情報を組み込むことができます。また、計算コストも低く抑えられており、実験結果ではMCMAが既存手法よりも優れた性能を示しています。さらに、光学フローの並列処理や解像度スケーリングなどの最適化手法も紹介されています。
Tilastot
MCMAは時間的情報を取り入れる新しい手法である。
EMAは過去の予測に重点を置く指数移動平均であり、ビデオセグメンテーションに広く利用されている。
BarrettデータセットではMCMAが最も効果的であった。
EndoVis-2019データセットでもMCMAが良好な結果を示した。
CityscapesデータセットでもMCMAが最良のパフォーマンスを発揮した。
Lainaukset
"Motion-Corrected Moving Average allows the inclusion of temporal information during inference while having a low computational footprint and no training requirements for the model or the dataset."
"MCMA leads to significantly better mean IoU in challenging tasks, demonstrating the benefit of including temporal information."
"Results suggest that MCMA suppresses outliers in stable parts of videos while accurately warping features when movement is present."