Core Concepts
ラルバゼブラフィッシュの行動から潜在的な埋め込みを抽出する新しい方法を紹介します。
Abstract
技術レポート:マスクされた骨格シーケンスモデリングによるラルバゼブラフィッシュの行動学習
マスクされたモデリング手法を使用して、SSTFormerアーキテクチャを提案しました。
行動シーケンスを画像と言語の組み合わせとして扱います。
高いフレームレートに対処するために、骨格シーケンスを時間スライスに分割し、自己注意変換層を使用してエンコードします。
CNNベースの注意モジュールを組み込んで表現を強化します。
時間的特徴集約操作を導入して類似した行動の識別性を向上させます。
導入
行動分析は神経科学で基本的な研究手法です。
伝統的なアプローチでは手作りの特徴が主要ですが、時空間情報と空間関係が重要です。
方法
MSAEアーキテクチャとそのモジュールについて説明します。
MSAEは自己教師付き方法で意味のある行動表現を抽出します。
実験結果
ラルバゼブラフィッシュから得られた骨格シーケンスデータを使用しました。
34,015回の泳ぎ回数が含まれています。
結論と議論
深層学習技術の発展により、完全教師あり学習に基づく骨格ベースの行動認識が進歩しました。
Stats
MSAEは大規模な未ラベル化された骨格シーケンスデータセットで強力な汎化可能なモデルを学習できます。
Quotes
"MSAE can predict the correct coordinates of the joints that failed in the pose estimation by DLC."