Основные понятия
本文提出了一種名為 AnyDesign 的新型時尚圖像編輯方法,該方法無需遮罩即可對多種服裝和配飾進行逼真的編輯,並透過擴展數據集和創新框架解決了現有方法的局限性。
Аннотация
論文概述
本研究論文介紹了一種名為 AnyDesign 的創新方法,用於編輯時尚圖像。該方法旨在解決現有技術的局限性,這些技術通常需要遮罩、關鍵點或僅限於特定類型的服裝。
主要貢獻
本論文的主要貢獻如下:
- 數據集擴展方法: 作者提出了一種數據集擴展方法,並首次複製了一個擴展的時尚編輯數據集 SSHQe,該數據集包含複雜背景中的人物以及九種類別的服裝和配飾。
- 無遮罩圖像編輯框架: 作者介紹了一個創新的無遮罩擴散框架,用於人類時尚編輯。該框架允許用戶使用給定的指令編輯任何區域,並且在推理過程中僅需要無遮罩擴散模型。
- 時尚擴散轉換器(Fashion DiT): 作者提出了一種名為 Fashion DiT 的新型擴散模型主幹,其中包含一個新穎的時尚引導注意力(FGA)模塊,用於融合 CLIP 類似特徵和服裝類型。
方法
AnyDesign 框架包含兩個階段:
- 偽樣本準備階段: 訓練一個基於遮罩的擴散模型,為無遮罩模型準備高質量的偽樣本。
- 無遮罩訓練階段: 構建最終的無遮罩模型,將偽樣本作為輸入。在訓練過程中,原始人物圖像被用作目標。
實驗結果
實驗結果表明,AnyDesign 在多個數據集上優於現有的基於文本的時尚編輯模型,包括 VITON-HD 和 Dresscode。此外,該方法在 SHHQe 數據集上也表現出良好的性能,能夠編輯各種服裝和配飾,包括上衣、褲子、裙子、鞋子、包包、圍巾、帽子和襪子。
總結
總之,AnyDesign 為時尚圖像編輯提供了一種新穎且有效的方法。透過無遮罩編輯、多功能區域處理和擴展的數據集,該方法為時尚設計和電子商務等領域的實際應用開闢了新的可能性。
Статистика
SSHQe 數據集包含 114,077 個訓練樣本和 12,653 個測試樣本,涵蓋九種類別的服裝和配飾。
VITON-HD 數據集包含 11,647 個訓練樣本和 2,032 個測試樣本。
Dresscode 數據集包含 48,392 個訓練樣本和 5,400 個測試樣本。
Цитаты
"Successful E-commerce applications should allow users to upload their full-body shots in any background and modify the image with any apparel in image or text formats."
"To address these challenges, we introduce AnyDesign, a mask-free framework for human fashion editing that allows users to edit versatile areas, including tops, pants, dresses, shoes, and accessories."
"Experiments validate our model’s efficiency on various datasets, demonstrating notable performance improvements and extensive application potential."