แนวคิดหลัก
オンラインアクション分割の性能を向上させるため、サラウンドサンプリングと Online Temporally Aware Label Cleaning (O-TALC)アルゴリズムを提案する。これにより、効率的なスパティオテンポラルアクション認識モデルを用いて、リアルタイムでの過剰分割を抑えつつ高精度なアクション分割を実現できる。
บทคัดย่อ
本研究では、オンラインアクション分割の性能向上に向けて2つの手法を提案している。
サラウンドサンプリング:
従来の密なサンプリングでは、オンラインでの推論時にクリップの境界が正しく捉えられないという問題があった。
サラウンドサンプリングでは、トレーニング時のクリップ作成時に、ラベル付けされた領域の境界を超えてサンプリングを行うことで、オンラインでの推論時のクリップとトレーニング時のクリップの整合性を高める。
これにより、短時間のアクションも正しく検出できるようになる。
Online Temporally Aware Label Cleaning (O-TALC)アルゴリズム:
オンラインでの推論時に、短時間のアクションを過剰に分割してしまう問題に対処する。
一定の長さ以下の短いセグメントを積極的に除去することで、過剰分割を抑制する。
静的な閾値を使う方法と、クラスごとの平均長さに基づいて動的に閾値を設定する方法の2つを提案している。
提案手法を、製造現場のアセンブリ作業を対象とした CBAA データセットや、より長いアクションを含む 50 Salads、Assembly-101 データセットで評価した結果、従来手法と比べて大幅な性能向上が確認できた。特に、短時間のアクションが多数含まれるCBAAデータセットでは、クラスごとの動的な閾値設定が有効であった。
สถิติ
短いアクションほど、オンラインでの推論性能が大幅に低下する。
平均クラス長が60フレーム以下のアクションでは、F1スコアが75.0から6.7に大幅に低下する。