本文提出了一個名為HAIGEN的人機協作系統,旨在提高時尚設計師的創作效率。該系統包括以下四個模塊:
文本到圖像雲端模塊(T2IM):部署在雲端的穩定擴散模型,可根據文本描述生成高質量的服裝渲染圖像,為設計師提供靈感。
圖像到草圖本地模塊(I2SM):利用生成對抗網絡和自適應個性化風格標準化模塊,從服裝圖像庫生成反映設計師個人風格的草圖模板。
草圖推薦本地模塊(SRM):基於視覺變換器,從個性化草圖庫中推薦與雲端生成圖像相似的草圖模板,供設計師進一步修改。
風格遷移本地模塊(STM):基於擴散模型,將設計師修改的草圖與雲端生成的參考圖像的風格融合,生成最終的上色效果。
整個系統採用雲端-本地分離的架構,有效保護了設計師的隱私,同時充分利用了雲端大模型的強大生成能力和本地小模型的個性化定制能力,提高了整體的設計效率。
翻譯成其他語言
從原文內容
arxiv.org
深入探究