属性指導型マルチレベル注意ネットワークによる高精細ファッション検索

Kernkonzepte

属性指導型マルチレベル注意ネットワーク(AG-MAN)は、事前学習CNNバックボーンの特徴抽出能力を向上させ、属性特異的な表現を抽出することで、高精細ファッション検索の精度を大幅に改善する。

Zusammenfassung

本研究は、高精細ファッション検索の課題に取り組んでいる。従来の手法は、事前学習CNNバックボーンを直接使用して画像表現を抽出するが、これにより特徴ギャップの問題が生じる。

提案手法AG-MANは以下の3つの工夫により、この問題を解決している:

1. 事前学習CNNバックボーンを改良し、多階層の画像特徴を抽出する。これにより低レベル特徴を強化する。
2. 属性ラベルが同じでサブクラスが異なる画像を同一クラスとする分類損失を導入する。これにより、オブジェクト中心の特徴学習を攪乱し、特徴ギャップを軽減する。
3. 改良した属性指導型注意モジュール(AGA)を提案し、より正確な属性特異的表現を抽出する。

AG-MANは、FashionAI、DeepFashion、Zappos50kデータセットで従来手法を大きく上回る性能を示した。特に、典型的なASENet V2モデルに比べ、FashionAI、DeepFashion、Zappos50kデータセットで、それぞれ2.12%、0.31%、0.78%の精度向上を達成した。

Statistiken

属性ごとの平均精度(MAP)は、FashionAIデータセットで62.8788%、DeepFashionデータセットで8.9804%、Zappos50kデータセットで93.32%であった。
提案手法はASENet V2モデルに比べ、FashionAI、DeepFashion、Zappos50kデータセットで、それぞれ2.12%、0.31%、0.78%の精度向上を達成した。

Zitate

"現在の手法は、事前学習CNNバックボーンを直接使用して画像表現を抽出するが、これにより特徴ギャップの問題が生じる。"
"提案手法AG-MANは、多階層の画像特徴の抽出、属性ラベルに基づく分類損失の導入、改良した属性指導型注意モジュールの提案により、この問題を解決している。"
"AG-MANは、FashionAI、DeepFashion、Zappos50kデータセットで従来手法を大きく上回る性能を示した。"

Wichtige Erkenntnisse aus

Attribute-Guided Multi-Level Attention Network for Fine-Grained Fashion Retrieval

by Ling Xiao,To... um arxiv.org 04-29-2024

https://arxiv.org/pdf/2301.13014.pdf