FactorizePhys：用於遠端生理感測中多維度注意力的矩陣分解方法

核心概念

本文提出了一種名為 FactorizePhys 的新型 3D-CNN 架構，並結合了基於非負矩陣分解 (NMF) 的因子化自我注意力模組 (FSAM)，用於從影片幀中有效地提取多維度注意力，以估計遠端生理訊號，特別是血液容積脈搏 (BVP) 訊號。

摘要

研究論文摘要

文獻資訊： Joshi, J., Agaian, S. S., & Cho, Y. (2024). FactorizePhys: Matrix Factorization for Multidimensional Attention in Remote Physiological Sensing. Advances in Neural Information Processing Systems, 37.

研究目標： 本研究旨在開發一種更有效且具有跨資料集泛化能力的遠端光體積變化描記圖 (rPPG) 訊號估計方法，特別是針對現有注意力機制在處理多維度特徵空間（時間、空間和通道）方面的局限性。

方法： 作者提出了一種名為 FactorizePhys 的新型端到端 3D-CNN 架構，該架構結合了因子化自我注意力模組 (FSAM)。FSAM 利用非負矩陣分解 (NMF) 來聯合計算體素嵌入中的多維度注意力。該方法首先將體素嵌入轉換為一個矩陣，其中時間特徵映射到向量維度，而空間和通道特徵映射到特徵維度。然後，利用 NMF 對該矩陣進行分解，以獲得一個低秩矩陣，該矩陣捕獲了時間特徵與空間和通道特徵之間的相關性。最後，將低秩矩陣轉換回嵌入空間，並用於通過逐元素乘法來激勵原始體素嵌入，從而實現多維度注意力。

主要發現： 在四個公開可用的 rPPG 資料集（iBVP、PURE、UBFC-rPPG 和 SCAMPS）上進行的實驗表明，FactorizePhys 在跨資料集泛化方面優於現有的最先進 rPPG 方法，尤其是在使用合成資料集 SCAMPS 進行訓練時。此外，當應用於現有的基於 2D-CNN 的 rPPG 架構 EfficientPhys 時，FSAM 也表現出與其自注意力機制 SASN 相當或更好的性能，證明了其多功能性。

主要結論： FSAM 作為一種新穎的多維度注意力機制，在從時空資料中估計時間序列訊號方面具有潛力，並可應用於其他需要從多維度輸入資料中提取資訊的下游任務。

意義： 這項研究通過引入 FSAM，為遠端生理感測領域做出了重大貢獻，FSAM 是一種有效且計算效率高的多維度注意力機制，可以提高 rPPG 訊號估計的準確性和泛化能力。

局限性和未來研究： 儘管 FactorizePhys 取得了最先進的性能，但它仍然容易受到現實世界挑戰的影響，例如劇烈的頭部運動、遮擋和環境光照條件的動態變化。未來的研究可以集中於解決這些局限性，並探索 FSAM 在其他時空領域（如影片理解和物件追蹤）中的應用。此外，研究整合時間或頻率約束的 NMF 變體以進一步增強 FSAM 的注意力能力也是一個有前景的方向。

統計資料

FactorizePhys 在使用合成資料集 SCAMPS 訓練時，在所有測試資料集上都優於最先進的方法。
EfficientPhys 使用 FSAM 的性能在多數情況下超過了使用 SASN 的 EfficientPhys，而在其餘情況下則與之相當。
與基於 TSM 的 2D-CNN 模型（EfficientPhys）相比，FactorizePhys 中的 3D CNN 核心可以更好地學習時空模式。
FactorizePhys 的模型參數明顯少於 EfficientPhys，並且在延遲方面與其相當。
在推理過程中刪除 FSAM 不會導致 FactorizePhys 的性能下降，同時可以顯著減少延遲。

引述

"Estimating BVP signal from raw facial video frames in an end-to-end manner is therefore an interesting downstream task to investigate the attention mechanism in multidimensional feature space."
"Although matrix factorization in deep learning has remained a topic of significant interest, it has not been investigated in the realm of rPPG, which stands to gain from joint spatial, temporal, and channel attention."
"This work investigates nonnegative matrix factorization (NMF), a matrix decomposition technique, for its potential to efficiently perform multidimensional attention and evaluates its effectiveness in the spatial-temporal context of estimating rPPG signal from video frames."

從以下內容提煉的關鍵洞見

FactorizePhys: Matrix Factorization for Multidimensional Attention in Remote Physiological Sensing

by Jitesh Joshi... 於 arxiv.org 11-05-2024

https://arxiv.org/pdf/2411.01542.pdf

深入探究

除了心率和血液容積脈搏之外，FSAM 還可以用於估計其他生理訊號或生物標記嗎？

FSAM 作為一個多維度注意力模組，其應用不限於心率和血液容積脈搏估計。基於其設計理念，FSAM 非常適合用於分析具備空間、時間和通道特性的生理訊號，並能潛在地應用於估計其他生理訊號或生物標記，例如：

呼吸率 (Respiratory Rate): 呼吸會導致胸部和腹部的微小運動，這些運動可以從影片中提取出來。FSAM 可以學習這些運動模式在空間和時間上的相關性，從而更準確地估計呼吸率。
血氧飽和度 (SpO2): 血氧飽和度會影響皮膚的顏色變化，而這些變化可以通過分析不同顏色通道的訊號來檢測。FSAM 可以學習不同顏色通道和時間序列之間的關係，從而估計血氧飽和度。
壓力水平 (Stress Level): 壓力會導致生理訊號的變化，例如心率變異性、皮膚電導和體溫等。FSAM 可以整合這些多模態生理訊號，並學習其在時間和特徵維度上的相關性，從而評估壓力水平。
然而，要將 FSAM 應用於估計其他生理訊號，需要進行特定領域的調整和驗證。例如，需要根據目標訊號的特性選擇合適的輸入數據和預處理方法，並針對特定應用場景調整模型架構和訓練策略。

如果影片幀的品質很差（例如，低解析度、雜訊大、幀率低），FactorizePhys 的性能會受到怎樣的影響？

與其他基於影像的生理訊號估計方法一樣，FactorizePhys 的性能也會受到低品質影片幀的負面影響。具體來說：

低解析度: 低解析度影片幀會導致面部細節資訊丢失，從而影響 FSAM 對關鍵區域（如皮膚區域）的注意力捕捉，進而降低 rPPG 訊號提取的準確性。
雜訊大: 影片幀中的雜訊會被模型視為有效資訊，並可能掩蓋真實的 rPPG 訊號，導致模型性能下降。特別是運動雜訊和光照變化會嚴重干擾 rPPG 訊號的提取。
幀率低: 低幀率會導致時間解析度降低，從而影響模型對 rPPG 訊號的精確捕捉，特別是對於高頻生理訊號，例如心率變異性分析。
為了解決這些問題，可以採取以下措施：

影像品質增強: 在將影片幀輸入模型之前，可以採用影像品質增強技術，例如超解析度重建、去噪和幀率插值等，以提高影片幀的品質。
模型魯棒性提升: 可以通過設計更魯棒的模型架構和訓練策略來提高模型對低品質影片幀的適應性。例如，可以使用更深的網路結構、更小的卷積核以及數據增強等技術來提高模型的泛化能力。
多源資訊融合: 可以結合其他感測器數據，例如加速度計、陀螺儀等，來彌補影片幀資訊的不足，提高生理訊號估計的準確性和穩定性。

基於 NMF 的注意力機制如何應用於其他依賴於多維度輸入資料的領域，例如自然語言處理或音訊訊號處理？

基於 NMF 的注意力機制可以有效地捕捉多維度數據中的潛在結構和關聯性，因此在自然語言處理和音訊訊號處理等領域也有廣泛的應用前景。
自然語言處理 (NLP):

主題建模 (Topic Modeling): NMF 可以將文檔-詞彙矩陣分解為主題-詞彙矩陣和文檔-主題矩陣，從而提取文檔中的潛在主題，並發現主題與詞彙之間的關聯性。
情感分析 (Sentiment Analysis): NMF 可以將文本數據分解為情感詞彙和情感表達模式，從而識別文本中的情感傾向，並分析情感詞彙與情感表達模式之間的關係。
機器翻譯 (Machine Translation): NMF 可以用於學習源語言和目標語言之間的詞彙對應關係，並將其應用於機器翻譯任務中。
音訊訊號處理:

語音分離 (Speech Separation): NMF 可以將混合語音訊號分解為多個單個語音訊號，從而實現語音分離。
音樂資訊檢索 (Music Information Retrieval): NMF 可以用於提取音樂訊號中的音樂特徵，例如音調、節奏和音色等，並將其應用於音樂分類、音樂推薦等任務中。
環境聲音識別 (Environmental Sound Recognition): NMF 可以用於學習不同環境聲音的聲學特徵，並將其應用於環境聲音識別任務中。
總之，基於 NMF 的注意力機制可以作為一種通用的多維度數據分析工具，應用於各種需要捕捉數據潛在結構和關聯性的任務中。