FitDiT：透過提升真實服裝細節以實現高擬真虛擬試衣

Concetti Chiave

FitDiT 是一種基於擴散模型的全新虛擬試衣方法，透過強化高解析度紋理細節、引入頻域學習和採用擴張鬆弛遮罩策略，有效解決了現有方法在處理複雜紋理和尺寸不匹配服裝方面的挑戰，顯著提升了虛擬試衣的真實感和準確性。

Sintesi

論文概述

本篇論文介紹了一種名為 FitDiT 的新型虛擬試衣方法，旨在解決現有基於圖像的虛擬試衣技術在生成高保真度和穩健擬合圖像方面所面臨的挑戰。

研究背景

隨著電子商務的蓬勃發展，人們對便捷、個性化購物體驗的需求日益增長。基於圖像的虛擬試衣技術 (VTON) 應運而生，它能夠生成穿著特定服裝的人體模型的逼真圖像，從而提升消費者的購物體驗。

研究問題

現有虛擬試衣方法主要基於生成對抗網絡 (GANs) 或潛在擴散模型 (LDMs)，但它們在處理複雜服裝紋理、真實光影效果以及逼真的人體描繪方面仍存在不足。具體而言，這些方法面臨著兩個主要挑戰：

1. 豐富紋理感知的維持: 將複雜紋理（例如圖案、文字、條紋、商標）轉移到目標模型上時，由於基於 U-Net 的擴散結構對高解析度潛在特徵的關注度較低，因此難以有效保留這些細節。
2. 尺寸感知的擬合: 在跨類別或尺寸不匹配的試衣場景中，服裝信息洩漏會導致生成的服裝覆蓋整個遮罩區域，從而影響擬合效果。

研究方法

FitDiT 提出了一種新穎的服裝感知增強技術，旨在利用擴散 Transformer (DiT) 更好地分配參數和注意力，以實現高保真度的虛擬試衣。

模型架構

FitDiT 採用並行分支架構，其中 Garment-DiT 從輸入的服裝圖像中提取詳細的服裝特徵，並通過混合注意力機制將這些特徵注入 DenoisingDiT。

DiT 定制化

為了更好地適應虛擬試衣任務，FitDiT 對 DiT 結構進行了定制化設計，主要包括以下三個方面：

1. 結構精簡: 移除文本編碼器，減少參數數量，提高訓練和推理速度。
2. 服裝條件調制: 利用圖像編碼器將服裝圖像編碼為嵌入向量，並與時間步嵌入向量結合，以服裝感知的方式調制 DiT 模塊中的特徵。
3. 服裝特徵注入: 將 Garment-DiT 提取的服裝特徵通過混合注意力機制注入 DenoisingDiT，以保留豐富的服裝紋理信息。

擴張鬆弛遮罩策略

為了避免服裝形狀信息洩漏，FitDiT 提出了一種擴張鬆弛遮罩策略，該策略使用粗略的矩形遮罩並隨機調整其長度和寬度，使模型能夠自動學習目標服裝的最佳長度，並提升對服裝形狀的感知能力。

服裝紋理增強

FitDiT 採用兩階段訓練策略來維持豐富的紋理細節：

1. 服裝先驗進化: 使用豐富的服裝數據對 Garment-DiT 進行微調，使其能夠渲染出色的細節。
2. 頻域學習: 在像素空間中引入頻譜距離損失，使模型在優化過程中更加關注頻域中存在顯著差異的組成部分，從而提升服裝細節重建的保真度。

實驗結果

在 VITON-HD、DressCode 和 CVDD 三個公開數據集上進行的實驗表明，FitDiT 在定性和定量評估中均優於現有最佳虛擬試衣模型，尤其是在處理具有複雜紋理和尺寸不匹配的服裝方面表現出色。

主要貢獻

本篇論文的主要貢獻包括：

• 首次嘗試將擴散 Transformer (DiT) 定制化應用於虛擬試衣任務，通過分配更多注意力給高解析度特徵，克服了現有基於 U-Net 的 LDMs 在複雜紋理維持方面的局限性。
• 提出了一種服裝先驗進化策略，以更好地提取服裝的模式知識，並在像素空間中引入頻譜距離損失，以保留複雜的圖案。
• 提出了一種擴張鬆弛遮罩增強方法，使用粗略的矩形遮罩來減少服裝形狀的洩漏，並使模型能夠自適應地學習服裝的整體形狀。
• 通過大量的定性和定量評估，清楚地證明了 FitDiT 相對於現有最佳虛擬試衣模型的優越性，尤其是在處理具有豐富紋理和尺寸不匹配的服裝方面。此外，它還實現了具有競爭力的推理時間，單個 1024 × 768 圖像的推理時間為 4.57 秒，優於現有方法。

總結

FitDiT 透過強化高解析度紋理細節、引入頻域學習和採用擴張鬆弛遮罩策略，有效解決了現有方法在處理複雜紋理和尺寸不匹配服裝方面的挑戰，顯著提升了虛擬試衣的真實感和準確性。

Statistiche

FitDiT 在未配對的 VITON-HD 數據集上，與表現次佳的 OOT-Diffusion 方法相比，KID 錯誤率顯著降低了 71.6%。
FitDiT 的推理時間為 4.57 秒，比 StableVITON 快 27%，比 IDM 快 54%。

Citazioni

"To the best of our knowledge, our FitDiT is the first attempt to customize the Diffusion Transformer (DiT) for virtual try-on applications, overcoming the limitations of current U-Net LDMs in complex texture maintenance by assigning greater attention to high-resolution features."
"Extensive qualitative and quantitative evaluations have clearly demonstrated FitDiT’s superiority over state-of-the-art virtual try-on models, especially in handling richly textured garments with size mismatches."

Approfondimenti chiave tratti da

FitDiT: Advancing the Authentic Garment Details for High-fidelity Virtual Try-on

by Boyuan Jiang... alle arxiv.org 11-19-2024

https://arxiv.org/pdf/2411.10499.pdf

Domande più approfondite

虛擬試衣技術如何應用於線下實體店，以提升顧客的購物體驗？

虛擬試衣技術 (Virtual Try-On, VTON) 不僅能應用於線上電商平台，也能為線下實體店帶來革新，提升顧客購物體驗。以下列舉幾種應用方式：

互動式試衣鏡： 實體店內可設置搭載虛擬試衣技術的互動式試衣鏡。顧客站在鏡子前，便可選擇不同的服裝款式、顏色、尺寸，並即時看到試穿效果。這種方式節省了顧客實際試穿的時間，也避免了試衣間排隊的困擾。
個性化推薦： 結合顧客數據和虛擬試衣技術，系統可以根據顧客的身材、喜好、過往購買記錄等信息，推薦合適的服裝款式，並通過虛擬試衣展示效果，幫助顧客更快找到心儀的商品。
虛擬服裝搭配： 顧客可以使用虛擬試衣技術嘗試不同的服裝搭配，系統也可以根據顧客選擇的單品，推薦其他可搭配的服裝、配飾等，打造完整的造型。
線上線下融合： 顧客在實體店試穿後，可以將喜歡的服裝款式保存到線上帳戶，方便日後購買。同時，顧客也可以線上瀏覽商品，並通過虛擬試衣預覽效果，再前往線下實體店進行實際體驗。
通過以上應用，虛擬試衣技術可以為線下實體店帶來以下優勢：

提升顧客參與度和購物體驗： 互動式、個性化的虛擬試衣體驗更具趣味性和吸引力，提升顧客的參與度和購物體驗。
提高銷售轉化率： 虛擬試衣可以幫助顧客更直觀地了解服裝上身效果，減少購買疑慮，從而提高銷售轉化率。
降低退貨率： 虛擬試衣可以讓顧客更準確地選擇合適的尺寸和款式，減少因尺寸不合適或款式不喜歡而產生的退貨。
優化庫存管理： 通過收集顧客的虛擬試衣數據，實體店可以更好地了解顧客的喜好和需求，從而優化庫存管理，減少庫存積壓。
總之，虛擬試衣技術為線下實體店帶來了新的發展機遇，可以有效提升顧客購物體驗，促進銷售增長。

若服裝圖像本身存在瑕疵或分辨率較低，FitDiT 如何確保生成的試衣效果？

FitDiT論文中雖然沒有直接說明如何處理服裝圖像瑕疵或低分辨率的問題，但它提出的一些技術可以間接地減輕這些問題帶來的負面影響：

DiT 架構與高分辨率特徵注入： FitDiT 採用 Diffusion Transformer (DiT) 架構，相較於傳統的 U-Net 架構，DiT 能夠分配更多參數和注意力在高分辨率的潛在特徵上。這意味著 FitDiT 在處理服裝細節和紋理方面具有更強的能力，即使輸入的服裝圖像分辨率較低，也能夠盡可能地還原細節。
服裝先驗進化： FitDiT 引入服裝先驗進化策略，使用大量的服裝數據對 GarmentDiT 進行微調，使其能夠提取更精確、更豐富的服裝特徵。這有助於模型學習到服裝紋理的先驗知識，即使輸入圖像存在瑕疵，也能夠生成更合理的紋理。
頻域學習： FitDiT 在像素空間中使用頻譜距離損失函數，使模型在訓練過程中更加關注頻域中差異較大的部分，例如文字、條紋等細節。這種方法可以幫助模型更好地捕捉服裝紋理的高頻信息，即使輸入圖像存在瑕疵，也能夠生成更清晰、更逼真的紋理。
然而，必須要強調的是，FitDiT 並不能完全消除服裝圖像瑕疵或低分辨率帶來的影響。如果輸入的服裝圖像質量過低，生成的試衣效果仍然會受到限制。

虛擬試衣技術的發展將如何影響服裝設計和時尚產業的未來？

虛擬試衣技術的發展將為服裝設計和時尚產業帶來革命性的變化，主要體現在以下幾個方面：

設計流程革新： 設計師可以利用虛擬試衣技術，在設計階段將服裝款式、材質、紋理等元素快速呈現在虛擬模特身上，直觀地觀察設計效果，並進行修改調整，大幅縮短設計週期，降低設計成本。
個性化定制： 虛擬試衣技術可以根據顧客的身材數據，生成個性化的服裝版型，實現服裝的量身定制，滿足顧客對服裝合身性和舒適性的需求。
虛擬時尚體驗： 虛擬試衣技術可以打造沉浸式的虛擬時尚體驗，例如虛擬時裝秀、虛擬試衣間等，為顧客帶來全新的時尚體驗，也為品牌營銷提供了新的思路。
可持續發展： 虛擬試衣技術可以減少服裝樣衣的製作和運輸，降低服裝產業的碳排放，促進時尚產業的可持續發展。
總體而言，虛擬試衣技術將推動服裝設計和時尚產業向著更加數字化、個性化、可持續的方向發展，為產業帶來新的機遇和挑戰。