基於骨架的量子時空相對變換器網路 (ST-RTR) 在人體動作識別 (HAR) 中的應用

核心概念

本文提出了一種名為時空相對變換器網路 (ST-RTR) 的新型量子模型，用於基於骨架的人體動作識別。ST-RTR 克服了傳統圖卷積網路感受野有限的局限性，並透過相對變換器有效捕捉骨架數據中的時空關係，在保持圖拓撲結構的同時，降低了計算複雜度。

摘要

文獻資訊

• 標題： 基於骨架的量子時空相對變換器網路 (ST-RTR) 在人體動作識別 (HAR) 中的應用
• 作者： Faisal Mehmood, Enqing Chen, Touqeer Abbas, and Samah M. Alzanin

研究目標

本研究旨在開發一種基於骨架的量子時空相對變換器網路 (ST-RTR) 模型，用於人體動作識別 (HAR)，並解決現有方法的局限性，例如圖卷積網路的感受野狹窄以及傳統變換器無法捕捉相對位置資訊的問題。

方法

• 本文提出了一種名為 ST-RTR 的新型雙流變換器模型，利用空間和時間相對變換器來識別骨架動作。
• 為了進行空間和時間建模，開發了一種輕量級的相對變換器模型。
• 本文提出了一個在空間維度上運作的量子空間相對變換器模組 (S-RTR)，用於在保持基本骨架拓撲結構的同時構建長距離依賴關係。T-RTR 模型評估了非連續幀之間的連接，以便在不修改骨架序列的情況下獲得更長的時間資訊。
• ST-GCN 模型將來自量子 ST-RTR 流的骨架關節作為輸入，而時空相對變換器則計算特徵作為輸出，並將其輸入融合模型。

主要發現

• 實驗結果表明，ST-RTR 模型在四個基準數據集（NTU RGB+D 60、NTU RGB+D 120 和 UAV-Human）上優於多種最先進的方法，包括 ST-GCN。
• ST-RTR 模型在實現更高準確性的同時，需要的參數更少。
• 結合關節和骨骼資訊，該模型始終優於 ST-GCN [11]、A-GCN [12] 和 MSST-RT [13]，取得了最先進的結果。

主要結論

• ST-RTR 模型透過使用相對變換器捕捉骨架數據中的空間和時間關係，為基於骨架的動作識別提供了一種有效的方法。
• ST-RTR 模型在多個基準數據集上的實驗結果證明了其有效性和對最先進方法的改進。

研究意義

這項研究對基於骨架的人體動作識別領域做出了重大貢獻。所提出的 ST-RTR 模型為開發更準確和高效的 HAR 系統提供了新的途徑，這些系統有可能徹底改變人機交互、醫療保健和視頻監控等各個領域。

局限性和未來研究方向

• 未來的研究可以探討將 ST-RTR 模型擴展到更複雜的動作識別任務，例如多標籤動作識別和時序動作定位。
• 此外，研究 ST-RTR 模型在其他應用領域（如機器人技術和自動駕駛）中的應用將是有價值的。

統計資料

在 NTU RGB+D 60 數據集上，ST-RTR 在交叉主體 (CS) 和交叉視角 (CV) 設定下分別達到了 89.10% 和 94.90% 的準確率。
在 NTU RGB+D 60 數據集上，ST-RTR+Fusion 在交叉主體 (CS) 和交叉視角 (CV) 設定下分別達到了 90.81% 和 95.95% 的準確率。
在 NTU RGB+D 120 數據集上，ST-RTR 在交叉主體 (CS) 和交叉視角 (CV) 設定下分別達到了 83.50% 和 84.10% 的準確率。
在 NTU RGB+D 120 數據集上，ST-RTR+Fusion 在交叉主體 (CS) 和交叉視角 (CV) 設定下分別達到了 84.45% 和 84.75% 的準確率。

引述

"This research introduced a new mechanism on a light transformer, called a relative transformer, that eliminates the issues identified in the prior study."
"Consequently, we call this model the 'spatial-temporal relative transformer' (ST-RTR)."
"So, we offer a fusion model that efficiently expresses an ST-RTR skeleton sequence's output."

從以下內容提煉的關鍵洞見

Human Action Recognition (HAR) Using Skeleton-based Quantum Spatial Temporal Relative Transformer Network: ST-RTR

by Faisal Mehmo... 於 arxiv.org 11-01-2024

https://arxiv.org/pdf/2410.23806.pdf

深入探究

ST-RTR 模型如何應用於處理更複雜的人體動作，例如涉及多個主體或細微手部動作的動作？

ST-RTR 模型在處理更複雜的人體動作方面具有潛力，但需要進行一些調整和擴展：
1. 涉及多個主體的動作：

圖形構建： 目前的 ST-RTR 模型主要針對單人骨架動作進行設計。對於多個主體，可以構建一個更大的圖形，將每個主體的骨架節點納入其中，並添加代表主體間交互的邊緣。例如，可以使用主體之間的距離或相對位置來定義邊緣權重。
注意力機制： 可以使用多層注意力機制來捕捉不同主體之間的交互。例如，第一層注意力機制可以關注每個主體內部的關節關係，而第二層注意力機制可以關注不同主體之間的交互。
時空推理： 需要更強大的時空推理能力來理解多個主體之間的動作關係。例如，可以使用圖時序網絡 (Graph Temporal Networks) 或時空 Transformer 來建模多主體動作序列。
2. 細微手部動作：

關節點精細化： 目前的 ST-RTR 模型使用 25 個關節點來表示人體骨架，對於細微手部動作可能不夠精細。可以增加手部關節點的數量，例如使用 MediaPipe 或 OpenPose 等工具提取更精細的手部骨架。
局部注意力機制： 可以使用局部注意力機制來關注手部區域的細節信息。例如，可以將手部關節點視為一個子圖，並使用單獨的注意力機制來處理。
多模態融合： 可以融合 RGB 圖像或深度信息來提供更多手部動作的細節。例如，可以使用 CNN 提取手部區域的圖像特徵，並與骨架特徵進行融合。
總之，ST-RTR 模型可以作為處理複雜人體動作的基礎，但需要針對具體問題進行調整和擴展。

如果訓練數據集中的人體動作標註有噪聲或不一致，ST-RTR 模型的性能會受到怎樣的影響？

如同其他深度學習模型，訓練數據集的質量對 ST-RTR 模型的性能有著顯著影響。如果標註存在噪聲或不一致，模型的性能會受到負面影響：

泛化能力下降： 模型可能會學習到數據集中的噪聲標籤，導致其對未見數據的泛化能力下降。
過擬合： 模型可能會過度擬合訓練數據集中的噪聲，導致其在測試集上的性能下降。
訓練不穩定： 噪聲標籤可能會導致訓練過程不穩定，使得模型難以收斂到最優解。
以下是一些應對噪聲標籤的方法：

數據清洗： 在訓練模型之前，可以對數據集進行清洗，去除或修正錯誤的標籤。可以使用人工檢查、規則过滤或半自動標註工具來進行數據清洗。
魯棒性損失函數： 可以使用對噪聲標籤更魯棒的損失函數，例如标签平滑 (Label Smoothing) 或 Focal Loss。
半監督學習： 可以利用未標註的數據來提高模型的魯棒性。例如，可以使用自監督學習或半監督學習方法來訓練模型。
多模型融合： 可以訓練多個 ST-RTR 模型，每個模型使用不同的數據集或超參數，然後將這些模型的預測結果進行融合，以降低噪聲標籤的影響。
總之，處理噪聲標籤是訓練 ST-RTR 模型的重要環節。應根據數據集的具體情況選擇合適的方法來減輕噪聲標籤的負面影響。

ST-RTR 模型的設計理念是否可以應用於其他計算機視覺任務，例如目標檢測或圖像分割？

ST-RTR 模型的設計理念，特別是其對時空關係的建模能力，可以應用於其他計算機視覺任務，例如目標檢測或圖像分割：
1. 目標檢測：

時序信息： 對於視頻目標檢測，可以將 ST-RTR 模型應用於多幀目標的關聯和軌跡預測。通過建模目標在時序上的運動軌跡，可以提高檢測的準確性和穩定性。
關係推理： ST-RTR 模型中的注意力機制可以用于建模目標之間的關係，例如遮擋、交互等。通過理解目標之間的關係，可以提高目標定位和分類的準確性。
2. 圖像分割：

上下文信息： ST-RTR 模型中的 Transformer 模块可以有效地捕捉图像中的长距离依赖关系，这对于理解图像上下文信息至关重要。可以将图像分割问题视为像素级别的分类问题，并使用 ST-RTR 模型来建模像素之间的关系，从而提高分割的准确性。
時序一致性： 對於視頻圖像分割，可以利用 ST-RTR 模型的時序建模能力来提高分割结果的时序一致性。
需要進行的調整：

輸入數據： 需要根據具體任務調整模型的輸入數據。例如，對於目標檢測，可以使用目標候選框的特徵作為輸入；對於圖像分割，可以使用圖像像素的特徵作為輸入。
輸出形式： 需要根據具體任務調整模型的輸出形式。例如，對於目標檢測，需要輸出目標的类别和位置信息；對於圖像分割，需要输出每个像素的类别标签。
總之，ST-RTR 模型的设计理念，特别是其对时空关系的建模能力，可以为其他计算机视觉任务提供新的思路和方法。