基於對比遮罩自動編碼器的圖像和視頻自監督表示學習：ViC-MAE

Centrala begrepp

ViC-MAE 模型結合遮罩自動編碼器 (MAE) 和對比學習，透過將短視頻視為時間增強，從圖像和視頻中學習有效的視覺表示，並在圖像和視頻分類任務中展現出優異的遷移學習性能。

Sammanfattning

研究論文摘要

參考文獻： Hernandez, J., Villegas, R., & Ordonez, V. (2024). ViC-MAE: Self-Supervised Representation Learning from Images and Video with Contrastive Masked Autoencoders. arXiv preprint arXiv:2303.12001v3.

研究目標： 本研究旨在開發一種名為 ViC-MAE 的自監督學習模型，該模型可以從圖像和視頻數據中學習有效的視覺表示，並有效地遷移到下游任務。

方法： ViC-MAE 結合了遮罩自動編碼器 (MAE) 和對比學習。在圖像級別，模型使用 MAE 重建損失來學習局部特徵。在時間級別，模型使用對比損失來對齊跨時間移位幀和增強視圖的表示。

主要發現：

• ViC-MAE 在 ImageNet-1k 上實現了 87.1% 的 top-1 準確率，優於現有的自監督視頻到圖像遷移學習方法。
• ViC-MAE 在 Something something-v2 視頻基準測試中獲得了 75.9% 的 top-1 準確率，證明了其在視頻分類任務中的有效性。
• 將短視頻視為時間增強比將圖像視為視頻更有效，同時仍然保留了時間表示。
• 使用較大的幀間隔（約 1.06 秒）進行訓練可以增強分類性能。
• 在訓練中包含負樣本對優於無負樣本訓練。

主要結論： ViC-MAE 是一種有效的自監督表示學習方法，可以在圖像和視頻分類任務中實現最先進的性能。該模型能夠學習捕獲圖像和視頻數據中時間和空間信息的魯棒表示。

意義： 這項研究通過引入一種新的自監督學習框架，為圖像和視頻理解做出了貢獻。ViC-MAE 的高效性和有效性使其成為各種下游應用程序的有希望的候選者。

局限性和未來研究： 未來的工作可以探索將 ViC-MAE 擴展到其他數據模態，例如文本和音頻。此外，研究使用更大和更多樣化的數據集對模型進行預訓練的效果將是有價值的。

Statistik

ViC-MAE 在 ImageNet-1k 上的 top-1 準確率達到 86%，與最近提出的 OmniMAE 相比，絕對提升了 1.3%。
使用額外數據訓練時，ViC-MAE 在 ImageNet-1k 上的 top-1 準確率達到 87.1%，與 OmniMAE 相比，絕對提升了 2.4%。
ViC-MAE 在 Something something-v2 視頻基準測試中獲得了 75.9% 的 top-1 準確率。

Citat

"Learning from video should also yield good image representations since videos naturally contain complex changes in pose, viewpoint, and deformations, among others."
"ViC-MAE, leads to reduced training times than video-masked models, while it demands more resources than a basic MAE (which processes 49 visual tokens at a 75% masking rate), it is more efficient (handling 98 tokens at the same rate) than heavier models like OmniMAE or ST-MAE (157 tokens at 90% rate)."

Viktiga insikter från

ViC-MAE: Self-Supervised Representation Learning from Images and Video with Contrastive Masked Autoencoders

by Jefferson He... på arxiv.org 10-04-2024

https://arxiv.org/pdf/2303.12001.pdf

Djupare frågor

ViC-MAE 如何與其他多模態自監督學習方法（例如，結合文本或音頻）相結合？

ViC-MAE 主要透過視覺訊息學習表徵，但其架構具備與其他多模態自監督學習方法結合的潛力，例如結合文本或音頻資訊。以下列舉幾種可能的整合方式：

多模態對比學習： 可以將文本或音頻特徵與 ViC-MAE 提取的視覺特徵進行融合，並使用對比損失函數來訓練模型。 例如，可以將同一個視頻的畫面、音頻和字幕視為正樣本，而將不同視頻的畫面、音頻和字幕視為負樣本。
多模態遮罩預測： 可以將文本或音頻資訊作為額外的輸入，讓模型預測被遮罩的視覺資訊。 例如，可以遮罩掉視頻中的一部分畫面，並要求模型根據音頻和字幕資訊來預測被遮罩的畫面內容。
多模態聯合訓練： 可以將 ViC-MAE 與其他專注於文本或音頻的自監督學習模型進行聯合訓練，並設計新的損失函數來鼓勵不同模態之間的資訊共享和互補。 例如，可以使用對比損失函數來對齊不同模態的表徵空間，或使用重建損失函數來讓模型從一種模態生成另一種模態的資訊。

總之，ViC-MAE 的彈性架構為整合多模態資訊提供了多種可能性，透過結合文本、音頻等其他模態的資訊，預期可以進一步提升模型在各項下游任務上的表現。

是否存在某些類型的圖像或視頻數據，ViC-MAE 在這些數據上的表現不如其他自監督學習方法？

雖然 ViC-MAE 在多種圖像和視頻數據集上展現出良好的性能，但某些特定類型的數據可能影響其表現，使其不如其他自監督學習方法。以下列舉幾種可能性：

缺乏時間變化的數據： ViC-MAE 利用時間對比學習來學習視頻表徵，對於缺乏明顯時間變化的視頻數據，例如靜態畫面或變化緩慢的場景，ViC-MAE 可能無法有效學習時間資訊，導致其表現不如專注於單張圖像的自監督學習方法。
包含大量噪聲或遮擋的數據： ViC-MAE 使用遮罩圖像建模來學習局部特徵，對於包含大量噪聲、遮擋或模糊的數據，模型可能難以準確重建被遮罩的區域，進而影響其學習到的表徵品質。
需要精細語義理解的數據： ViC-MAE 主要學習視覺表徵，對於需要精細語義理解的數據，例如需要區分細微動作差異的視頻，ViC-MAE 可能無法捕捉到足夠的語義資訊，導致其表現不如結合語義資訊的自監督學習方法。

總而言之，ViC-MAE 的性能表現與數據特性密切相關，對於缺乏時間變化、包含大量噪聲或需要精細語義理解的數據，ViC-MAE 的表現可能不如其他更適合處理這些數據特性的自監督學習方法。

如果將 ViC-MAE 應用於需要精細時間推理的任務（例如，視頻字幕或事件預測），其性能會如何？

ViC-MAE 主要透過對比學習捕捉視頻中的時間變化，對於需要精細時間推理的任務，例如視頻字幕或事件預測，直接應用 ViC-MAE 可能會遇到以下挑戰：

缺乏長期時間關係建模： ViC-MAE 主要關注短時間內的畫面變化，對於需要理解較長時間跨度的任務，例如事件預測，模型可能無法有效捕捉事件之間的長期時間關係。
缺乏語義資訊整合： ViC-MAE 主要學習視覺表徵，而視頻字幕和事件預測需要理解視頻中的語義資訊，例如人物、動作和場景。 僅憑藉視覺表徵，模型可能難以準確生成字幕或預測事件。

為了提升 ViC-MAE 在需要精細時間推理任務上的性能，可以考慮以下改進方向：

結合循環神經網絡： 可以將 ViC-MAE 提取的視覺特徵輸入到循環神經網絡（RNN）中，利用 RNN 的記憶能力來建模視頻中的長期時間關係。
整合語義資訊： 可以將 ViC-MAE 與其他模態的資訊（例如文本或音頻）進行融合，或在訓練過程中引入語義標籤，以增強模型對視頻語義資訊的理解能力。
設計新的預測頭： 針對特定任務需求，設計新的預測頭來處理時間推理任務，例如使用注意力機制來捕捉關鍵畫面或事件，或使用序列模型來生成字幕或預測事件序列。

總之，ViC-MAE 並非專為精細時間推理任務設計，但透過結合循環神經網絡、整合語義資訊或設計新的預測頭等方式，可以改進其在視頻字幕或事件預測等任務上的性能。