本研究では、JOSENetと呼ばれる新しい自己教師あり学習フレームワークを提案している。JOSENetは、RGBフレームと光学フローの2つの時空間ビデオストリームを受け取り、新しい正則化された自己教師あり学習アプローチを活用する。
JOSENetは以下の特徴を持つ:
具体的には、JOSENetは2つのモデルから構成される:
FGNは光学フローとRGBの2つのストリームを受け取り、暴力行為の検出を行う。一方、VICRegベースの自己教師あり学習モデルは、ラベル付きデータが不足している状況でも有効な表現を学習する。
実験の結果、JOSENetは従来手法と比べて優れたパフォーマンスを示し、同時に大幅な計算コストの削減も実現できることが確認された。さらに、一般的な行動認識タスクにも適用可能であることが示された。
Ke Bahasa Lain
dari konten sumber
arxiv.org
Wawasan Utama Disaring Dari
by Pietro Narde... pada arxiv.org 05-07-2024
https://arxiv.org/pdf/2405.02961.pdfPertanyaan yang Lebih Dalam