Główne pojęcia
本文提出了一種名為 Pen 的提示增強網路框架,用於仇恨迷因圖分類,透過將提示學習方法擴展到特徵空間,並結合提示感知對比學習,提升模型對仇恨迷因圖的分類準確度。
文獻資訊: Liu, J., Feng, Y., Chen, J., Xue, Y., & Li, F. (2024). Prompt-enhanced Network for Hateful Meme Classification. arXiv preprint arXiv:2411.07527.
研究目標: 本研究旨在開發一種更精準的仇恨迷因圖分類方法,解決傳統多模態分類方法過度依賴外部知識且可能引入無關資訊的問題。
研究方法: 本研究提出了一種名為 Pen 的提示增強網路框架,其核心概念是將提示學習方法擴展到特徵空間,並結合提示感知對比學習,以提升模型對仇恨迷因圖的分類準確度。具體來說,Pen 框架首先透過提示方法處理輸入序列,並使用區域資訊全局提取模組提取推論實例和示例的全局資訊特徵。接著,透過提示增強多視角感知模組,從多個視角感知推論實例和示例的全局資訊特徵,以進行仇恨情緒判斷。此外,為了更好地捕捉特徵空間中仇恨和非仇恨之間的關係,本研究引入了提示感知對比學習,以改善樣本特徵分佈的品質。
主要發現: 在兩個公開數據集(FHM 和 HarM)上進行的大量實驗表明,Pen 框架在仇恨迷因圖分類任務中,相較於當前最先進的模型基準,展現出更優異的泛化性和分類準確度。
主要結論: Pen 框架透過將提示學習方法擴展到特徵空間,並結合提示感知對比學習,能有效提升模型對仇恨迷因圖的分類準確度。
研究意義: 本研究為仇恨迷因圖的自動化偵測提供了一種更精準且有效的方法,有助於減少網路仇恨言論的傳播。
研究限制與未來方向:
未來研究可以探討將 Pen 框架應用於少樣本學習任務,以提升提示方法在低資源文本分類任務中的準確度。
未來研究可以進一步探索更豐富的外部知識,以提升模型在處理包含多樣化仇恨因素的數據集時的效能。
Statystyki
在 HarM 數據集上,Pen 的 macro-average F1 score 比僅依賴提示方法的 Prompthate 方法提升了 2.85%。
在 FHM 數據集上,Pen 的 macro-average F1 score 比僅依賴提示方法的 Prompthate 方法提升了 1.56%。
在 HarM 數據集上,PenCap 的 macro-average F1 score 比 Pro-Cap 方法提升了 1.85%。
在 FHM 數據集上,PenCap 的 macro-average F1 score 比 Pro-Cap 方法提升了 0.66%。