本研究の目的は、画像シーケンスにおける単調な時間変化を発見し、その変化の領域を特定することである。これを達成するため、シャッフルされた画像シーケンスの順序付けを自己教師学習のプロキシタスクとして利用する。順序付けを行うことで、単調な時間変化に関連する手がかりを学習し、一方で周期的や偶発的な変化は無視することができる。
提案手法では、順序付けを行うための柔軟なトランスフォーマーベースのモデルを導入している。このモデルは、任意の長さの画像シーケンスの順序付けを行うことができ、同時に変化の領域を特定するための注意マップを出力する。
実験では、様々なドメインのデータセットを用いて評価を行った。その結果、提案手法は単調な時間変化を正確に発見・局在化することができ、既存手法を上回る性能を示した。また、順序付けの性能においても、標準ベンチマークで最先端の結果を得ることができた。
本研究の貢献は以下の4点である:
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Charig Yang,... alle arxiv.org 04-26-2024
https://arxiv.org/pdf/2404.16828.pdfDomande più approfondite