基於屬性感知預訓練的通用圖像質量特徵提取器：ATTIQA

מושגי ליבה

針對無參考圖像質量評估 (NR-IQA) 中數據集大小有限的問題，本文提出了一種名為 ATTIQA 的新型預訓練框架，該框架利用屬性感知預訓練從大型數據集中提取與質量相關的知識，從而構建用於 IQA 的通用表示，並在多個 IQA 數據集上實現了最先進的性能。

תקציר

論文概述

本論文提出了一種名為 ATTIQA 的新型預訓練框架，旨在解決無參考圖像質量評估 (NR-IQA) 中數據集大小有限的問題。ATTIQA 利用屬性感知預訓練從大型數據集中提取與質量相關的知識，從而構建用於 IQA 的通用表示。

研究背景

深度學習在圖像質量評估 (IQA) 中的應用面臨著現有 IQA 數據集大小有限的挑戰。使用小型數據集從頭開始訓練 IQA 模型會遇到難以學習圖像質量的豐富表示的問題，這通常會導致性能下降和泛化能力差，從而限制了 IQA 在實際場景中的應用。

研究方法

ATTIQA 框架包含兩個主要組成部分：提示選擇和使用 CLIP 的偽標籤進行預訓練。

• 提示選擇：
  • 使用大型語言模型 (LLM) 生成候選提示列表。
  • 通過評估候選提示通過代理任務生成準確屬性評分的的能力，確定最適合用於生成圖像屬性評分的提示。
• 屬性感知預訓練：
  • 使用 CLIP 和所選提示生成圖像屬性評分作為預訓練的偽標籤。
  • 在此偽標籤數據上對 IQA 模型進行預訓練，並使用專用 IQA 數據集進行微調。

實驗結果

• ATTIQA 在多個 IQA 數據集（CLIVE、KonIQ-10k、SPAQ 和 FLIVE）以及圖像美學數據集 AVA 上均取得了最先進的性能。
• 在跨數據集驗證中，ATTIQA 表現出優於基準模型的泛化能力，在多數情況下均取得了最佳性能。
• 在數據效率設置下，ATTIQA 在數據集有限的環境中優於其他基於預訓練的方法。

應用

• 生成模型的指標： ATTIQA 可用作評估生成模型的指標，例如比較從同一文本提示生成的兩個圖像的質量。
• 圖像增強： ATTIQA 的 MOS 預測可用作強化學習的獎勵，以找到 ISP 的最佳參數，從而增強圖像質量。

結論

ATTIQA 是一種用於 IQA 的新型預訓練框架，它利用屬性感知預訓練來構建用於 IQA 的通用表示。實驗結果表明，ATTIQA 在多個 IQA 數據集上實現了最先進的性能，並在跨數據集驗證中表現出優異的泛化能力。

סטטיסטיקה

ATTIQA 在 KonIQ-10k 數據集上取得了最高的 SROCC 和 PLCC 分數，分別為 0.942 和 0.952。
在跨數據集驗證中，ATTIQA 在使用 KonIQ 數據集進行訓練並在 SPAQ 數據集上進行測試時，取得了 0.887 的 SROCC 分數，優於其他方法。
在數據效率設置下，ATTIQA 在僅使用 10% 的 CLIVE 數據集進行訓練時，取得了 0.820 的 SROCC 分數，優於其他基於預訓練的方法。
在生成模型的指標應用中，ATTIQA 在 pairwise 圖像比較任務中達到了 71.0% 的準確率，優於其他 IQA 方法。
在圖像增強應用中，ATTIQA 在與專家 C 的修圖結果進行比較時，獲得了 58% 的用戶偏好勝率。

ציטוטים

"In this work, we introduce a novel pretraining framework for IQA, named “ATTIQA”, ATTribute-aware IQA, which exhibits enhanced generalization capabilities by effectively incorporating CLIP’s extensive knowledge and the scalability of large unlabeled datasets."
"Our approach achieves state-of-the-art performance on multiple IQA datasets and exhibits remarkable generalization capabilities."
"Leveraging these strengths, we propose several applications, such as evaluating image generation models and training image enhancement models, demonstrating our model’s real-world applicability."

תובנות מפתח מזוקקות מ:

ATTIQA: Generalizable Image Quality Feature Extractor using Attribute-aware Pretraining

by Daekyu Kwon,... ב- arxiv.org 10-08-2024

https://arxiv.org/pdf/2406.01020.pdf

שאלות מעמיקות

ATTIQA 如何與其他模態（例如視頻）的質量評估方法相結合？

ATTIQA 的核心概念是利用圖像屬性作為橋樑，從預先訓練好的大型視覺語言模型（例如 CLIP）中提取與質量相關的知識，並將其轉移到目標圖像質量評估模型中。這種方法可以拓展到其他模態，例如視頻質量評估。
以下是一些結合 ATTIQA 和視頻質量評估的思路：

識別關鍵視頻屬性： 與圖像類似，視頻也具有影響其質量的關鍵屬性，例如清晰度、流暢度、色彩鮮豔度、噪點程度等。
設計基於視頻屬性的提示詞： 參考 ATTIQA 的方法，可以使用大型語言模型（例如 GPT-4）生成與視頻屬性相關的正負面提示詞對，例如 “高畫質的影片” 和 “模糊不清的影片”。
利用預訓練的視頻-文本模型： 選擇預先訓練好的視頻-文本模型，例如 VideoCLIP 或 X-CLIP，它們能夠理解視頻內容和文本描述之間的關係。
生成視頻屬性分數： 使用選擇的提示詞對，利用視頻-文本模型對輸入視頻進行零樣本推理，計算每個屬性的分數。
訓練目標視頻質量評估模型： 可以使用 ATTIQA 的預訓練框架，利用生成的視頻屬性分數作為偽標籤，訓練目標視頻質量評估模型。

需要注意的是，視頻質量評估比圖像質量評估更具挑戰性，因為視頻包含更多的时间信息和動態變化。因此，在設計提示詞和選擇視頻-文本模型時，需要考慮到這些因素。

ATTIQA 是否過度依賴 CLIP 的性能，如果 CLIP 的性能在某些情況下表現不佳，ATTIQA 的性能是否會受到影響？

ATTIQA 的性能的確會受到 CLIP 性能的影響，因為 ATTIQA 利用 CLIP 生成的屬性分數作為偽標籤來訓練目標 IQA 模型。如果 CLIP 在某些情況下表現不佳，例如無法準確判斷圖像的屬性，那麼 ATTIQA 的性能也會下降。
然而，ATTIQA 使用了幾項策略來減輕對 CLIP 性能的依賴：

相對排名損失函數: ATTIQA 使用相對排名損失函數，而不是直接使用 CLIP 生成的數值分數。這降低了 ATTIQA 對 CLIP 絕對分數準確性的依賴，更關注於圖像之間的相對質量關係。
提示詞選擇策略: ATTIQA 提出了基於代理任務的提示詞選擇策略，旨在選擇能夠準確反映圖像屬性的提示詞。這有助於確保 CLIP 生成的屬性分數更可靠。

總體而言，ATTIQA 在一定程度上依賴於 CLIP 的性能，但它也採用了一些策略來減輕這種依賴。如果 CLIP 在某些情況下表現不佳，ATTIQA 的性能可能會受到影響，但影響程度可能不如直接使用 CLIP 進行圖像質量評估那麼大。

ATTIQA 的預訓練框架是否可以應用於其他計算機視覺任務，例如目標檢測或圖像分割？

ATTIQA 的預訓練框架主要針對圖像質量評估任務，其核心是利用屬性信息來構建更豐富的圖像表示。雖然 ATTIQA 的預訓練框架直接應用於目標檢測或圖像分割等任務的效果可能有限，但其核心理念可以為其他計算機視覺任務提供借鑒：

利用屬性信息: ATTIQA 強調了屬性信息在圖像理解中的重要性。對於目標檢測和圖像分割等任務，也可以探索如何將目標的屬性信息融入模型訓練中，例如目標的大小、形狀、顏色、紋理等。
結合預訓練模型和代理任務: ATTIQA 使用預訓練的 CLIP 模型和代理任務來生成偽標籤，這種方法可以拓展到其他任務。例如，可以使用預訓練的目標檢測模型和代理任務來生成更精確的目標定位信息，或使用預訓練的圖像分割模型和代理任務來生成更精細的分割標籤。

總之，ATTIQA 的預訓練框架本身可能不直接適用於目標檢測或圖像分割等任務，但其核心理念可以為其他計算機視覺任務提供借鑒，例如利用屬性信息和結合預訓練模型與代理任務。