퓨샷 액션 인식을 위한 모션 기반 어텐션을 통한 비디오-투-태스크 학습

核心概念

본 논문에서는 퓨샷 액션 인식을 위해 비디오 레벨에서 태스크 레벨까지 시공간적 관계를 학습하는 새로운 듀얼 모션 기반 어텐션 학습(DMGAL) 방법을 제안합니다.

要約

퓨샷 액션 인식을 위한 모션 기반 어텐션을 통한 비디오-투-태스크 학습

본 논문에서는 적은 수의 라벨링된 샘플만으로 새로운 액션 클래스를 인식하는 퓨샷 액션 인식 문제를 다룹니다. 특히, 비디오 레벨에서 태스크 레벨까지 시공간적 관계를 효과적으로 학습하여 퓨샷 액션 인식 성능을 향상시키는 데 중점을 둡니다.

저자들은 듀얼 모션 기반 어텐션 학습(DMGAL)이라는 새로운 방법을 제안합니다. DMGAL은 비디오 레벨에서 시공간적 관계 모델링을 수행하는 Self Motion-Guided Attention (S-MGA) 모듈과 태스크 레벨에서 시공간적 관계 모델링을 수행하는 Cross Motion-Guided Attention (C-MGA) 모듈로 구성됩니다.
S-MGA (Self Motion-Guided Attention)
S-MGA는 비디오 내에서 모션과 관련된 영역 특징을 식별하고 연관시켜 비디오 레벨에서 시공간적 관계를 학습합니다. 양방향 및 다중 스케일 모션 특징을 활용하여 모션 관련 자기 연관 점수 행렬을 학습하고, 이를 통해 비디오 내에서 가장 모션과 관련된 영역 특징의 관련성을 명시적으로 나타냅니다.
C-MGA (Cross Motion-Guided Attention)
C-MGA는 태스크 내의 여러 비디오에서 모션 관련 영역 특징을 식별하고 연관시켜 태스크 레벨에서 시공간적 관계를 학습합니다. S-MGA와 마찬가지로 양방향 및 다중 스케일 모션 특징을 사용하지만, C-MGA는 전체 태스크의 모션 특징을 추출하여 여러 개의 모션 관련 교차 연관 점수 행렬을 학습합니다. 이러한 행렬은 태스크 내에서 가장 모션과 관련된 영역 특징의 관련성을 나타내며, 프레임 단위로 계산되어 계산 부하를 줄이고 퓨샷 시나리오에서 지나치게 sparse한 시공간적 correspondence를 학습하는 어려움을 완화합니다.
저자들은 DMGAL의 효율성과 효과를 검증하기 위해 완전 미세 조정(fully fine-tuning) 및 어댑터 조정(adapter-tuning) 패러다임을 사용하여 두 가지 모델인 DMGAL-FT 및 DMGAL-Adapter를 개발했습니다.
DMGAL-FT
DMGAL-FT는 기존의 퓨샷 액션 인식 방법을 따르는 완전 미세 조정 패러다임을 위해 특별히 설계되었습니다. ImageNet에서 사전 훈련된 ResNet-50을 특징 추출기로 사용하고, S-MGA 및 C-MGA를 통해 비디오 레벨에서 태스크 레벨까지 시공간적 관계를 통합하는 클래스 프로토타입을 구성합니다.
DMGAL-Adapter
DMGAL-Adapter는 어댑터 조정 패러다임을 위해 설계되었습니다. 사전 훈련된 CLIP-VIT 모델에 S-MGA 및 C-MGA를 어댑터로 연결하고 모델을 고정하여 매개변수 효율적인 방식으로 시공간적 특징을 학습합니다.

抽出されたキーインサイト

Video-to-Task Learning via Motion-Guided Attention for Few-Shot Action Recognition

by Hanyu Guo, W... 場所 arxiv.org 11-19-2024

https://arxiv.org/pdf/2411.11335.pdf

深掘り質問

DMGAL 방법을 다른 퓨샷 학습 작업에 적용 가능성

DMGAL 방법은 퓨샷 이미지 분류 및 객체 감지 작업에도 적용할 수 있지만, 몇 가지 수정이 필요합니다.
1. 퓨샷 이미지 분류:

시간적 모델링 제거: 이미지는 시간적 차원이 없으므로 S-MGA의 시간적 MLP 레이어와 같이 시간적 모델링을 위해 설계된 구성 요소는 제거해야 합니다.
공간적 주의력 강화: C-MGA는 이미지의 특정 영역 간의 관계를 학습하도록 수정해야 합니다. 예를 들어, 이미지를 패치로 나누고 패치 간의 cross-attention을 수행하여 task-specific 특징을 학습할 수 있습니다.
2. 퓨샷 객체 감지:

객체 특징 추출: DMGAL을 적용하기 전에 객체 감지 모델을 사용하여 각 이미지에서 객체별 특징을 추출해야 합니다.
관계 모델링 수정: S-MGA와 C-MGA는 추출된 객체 특징 간의 관계를 모델링하도록 수정해야 합니다. 예를 들어, 각 이미지에서 여러 객체를 감지하는 경우, attention 메커니즘을 사용하여 객체 간의 관계를 학습할 수 있습니다.
요약: DMGAL을 다른 퓨샷 학습 작업에 적용하려면 입력 데이터의 특성에 맞게 시간적 모델링 구성 요소를 제거하거나 수정하고, 공간적 주의력 메커니즘을 강화해야 합니다. 또한, 객체 감지와 같은 작업의 경우, 객체 특징을 추출하고 이를 기반으로 관계 모델링을 수행해야 합니다.

계산 효율성 향상을 위한 추가적인 방법

DMGAL의 계산 효율성을 더욱 향상시키기 위해 비디오의 특정 부분이나 프레임에 집중하는 어텐션 메커니즘을 사용하는 방법을 고려할 수 있습니다.

시간적 주의력 기반 프레임 선택: 모든 프레임을 사용하는 대신, 시간적 주의력 메커니즘을 사용하여 중요한 프레임만 선택적으로 처리할 수 있습니다. 예를 들어, 비디오의 움직임 변화가 큰 프레임이나 특정 이벤트가 발생하는 프레임을 선택하여 S-MGA와 C-MGA의 계산량을 줄일 수 있습니다.
공간적 주의력 기반 영역 선택: 이미지 전체가 아닌 움직임이 있는 영역이나 객체가 있는 영역에만 집중하여 계산량을 줄일 수 있습니다. 예를 들어, 객체 감지 모델을 사용하여 움직이는 객체를 찾고, 해당 객체 주변 영역에만 attention을 적용하여 C-MGA의 계산 효율성을 높일 수 있습니다.
계층적 주의력 메커니즘: 비디오를 여러 계층으로 나누어 처리하는 계층적 주의력 메커니즘을 사용할 수 있습니다. 예를 들어, 비디오를 프레임, 클립, 전체 비디오와 같은 계층으로 나누고, 각 계층에서 중요한 정보만 추출하여 다음 계층으로 전달하는 방식으로 계산량을 줄일 수 있습니다.
요약: 시간적 주의력 기반 프레임 선택, 공간적 주의력 기반 영역 선택, 계층적 주의력 메커니즘을 통해 DMGAL의 계산 효율성을 향상시킬 수 있습니다.

퓨샷 액션 인식 모델의 인간 수준 인식 능력 향상을 위한 연구 방향

퓨샷 액션 인식 모델이 인간 수준의 인식 능력을 갖추기 위해서는 시각 정보뿐만 아니라 상황 정보, 사전 지식 등 다양한 요소를 효과적으로 통합해야 합니다.

멀티모달 학습: 비디오 데이터와 함께 자막, 음성, 텍스트 설명과 같은 다른 형태의 데이터를 함께 학습하는 멀티모달 학습 방법을 사용할 수 있습니다. 예를 들어, 비디오에 등장하는 객체, 배경, 움직임 정보와 함께 자막 정보를 함께 모델링하여 액션 인식의 정확도를 높일 수 있습니다.
상식 추론: 외부 지식 기반(Knowledge Base)이나 그래프 신경망(Graph Neural Network)을 활용하여 액션 인식에 필요한 상식 추론 능력을 모델에 부여할 수 있습니다. 예를 들어, "자전거를 타다"라는 액션은 일반적으로 "도로", "헬멧"과 같은 객체, 장소와 관련이 있다는 상식을 활용하여 액션 인식을 수행할 수 있습니다.
장면 이해: 액션이 발생하는 장면의 맥락 정보를 이해하는 능력을 향상시켜야 합니다. 예를 들어, 주방에서 "요리하다"라는 액션과 거실에서 "요리하다"라는 액션은 다른 맥락 정보를 가지고 있으며, 이러한 정보를 모델이 이해하도록 학습해야 합니다.
Few-shot 학습 방법론 개선: 기존의 metric learning 기반 방법을 넘어, meta-learning, transfer learning 등 다양한 few-shot 학습 방법론을 활용하여 모델의 일반화 능력을 향상시켜야 합니다.
요약: 멀티모달 학습, 상식 추론, 장면 이해 능력 향상, few-shot 학습 방법론 개선을 통해 퓨샷 액션 인식 모델이 인간 수준의 인식 능력에 더 가까워질 수 있습니다.