불확실성 강화 강건한 비디오 활동 예측

Kernekoncepter

비디오 데이터와 활동 진화의 불확실성을 포괄적으로 모델링하여 활동 예측 결과의 신뢰성과 강건성을 향상시킨다.

Resumé

이 논문은 비디오 활동 예측 문제에서 데이터 불확실성 문제를 해결하기 위한 방법을 제안한다. 데이터 불확실성은 비디오 내용 진화 과정과 활동 레이블 간 동적 상관관계에서 발생한다. 이는 모델의 일반화 능력과 비디오 내용에 대한 깊이 있는 이해를 저하시켜 심각한 오류 누적과 성능 저하를 초래한다.

제안 방법은 불확실성 값을 생성하여 예측 결과의 신뢰성을 나타낸다. 이 불확실성 값은 softmax 함수의 온도 매개변수로 사용되어 예측 활동 분포의 평활도를 조절한다. 또한 활동 진화에 대한 시간적 클래스 상관관계와 의미적 관계를 반영한 활동 레이블 표현을 구축하여 분포 조정을 보장한다.

불확실성은 샘플 간 및 시간 길이 간 상대적 방식으로 정량화되어, 전체 데이터셋에 대한 절대적 불확실성 값 추정보다 더 접근 가능한 방식으로 모델링된다.

실험 결과, 제안 방법은 다양한 백본 모델과 벤치마크에서 향상된 정확도와 강건성/해석 가능성을 보여준다. 특히 불확실성이 높은 샘플과 장기 꼬리 활동 범주를 처리할 때 효과적이다.

Statistik

비디오 데이터에 내재된 불확실성은 데이터 수집 및 주석 과정에서 발생하며 데이터 크기 증가로도 제거할 수 없다.
EPIC-KITCHENS-55 데이터셋에서 동일한 선행 활동에 대해 다양한 후속 활동이 발생할 수 있다.
활동 클래스 간 공동 발생 빈도를 분석한 결과, 하나의 선행 활동에서 다양한 후속 활동이 발생할 수 있음을 보여준다.

Citater

"데이터 불확실성이 심각하게 예측 모델의 신뢰성을 저해한다. 구체적으로 평탄한 분포를 따르는 샘플이나 많은 후속 활동 범주를 가진 활동 범주에 대한 일반화 성능이 저하된다."
"활동 진화 불확실성으로 인해 모델이 시각적으로 유사한 관찰 비디오 간 잘못된 상관관계를 포착하게 되어 설명할 수 없는 모델 행동이 발생한다."

Vigtigste indsigter udtrukket fra

Uncertainty-boosted Robust Video Activity Anticipation

by Zhaobo Qi,Sh... kl. arxiv.org 04-30-2024

https://arxiv.org/pdf/2404.18648.pdf

Dybere Forespørgsler

비디오 데이터 불확실성 모델링이 다른 비디오 이해 작업에 어떤 시사점을 줄 수 있는가?

비디오 데이터 불확실성 모델링은 다른 비디오 이해 작업에 중요한 시사점을 제공할 수 있습니다. 첫째, 데이터 불확실성을 모델링함으로써 우리는 데이터셋의 특성을 깊이 이해할 수 있습니다. 이는 데이터의 활용 방안을 개선하고 비디오 이해 작업에 더 많은 통찰력을 제공합니다. 둘째, 불확실성 모델링은 다른 시퀀스 모델링 또는 예측 작업에도 도움이 될 수 있습니다. 예를 들어, 비디오 예측, 예측 및 궤적 예측과 같은 작업에서도 적용할 수 있습니다. 또한, 불확실성 모델링은 장기적인 비디오 이해 작업에 유용할 수 있습니다. 마지막으로, 시간적 상대 불확실성 학습 전략은 자기 지도 비디오 표현 학습을 위한 새로운 프록시 작업으로 활용될 수 있습니다.