基於注意力分組的高效多方面文字驅動圖像編輯：ParallelEdits

核心概念

本文提出了一種名為 ParallelEdits 的新型文字驅動圖像編輯方法，該方法可以高效地同時編輯圖像中的多個方面，例如物件、屬性和關係，並在保留圖像原始內容的同時實現高品質的編輯效果。

摘要

摘要
本文介紹了 ParallelEdits，這是一種針對多方面文字驅動圖像編輯的高效且有效解決方案。與現有方法不同，ParallelEdits 不僅保留了單一屬性編輯的品質，還顯著提高了多任務編輯的效能。這是通過創新的注意力分配機制和跨多個處理頭運作的多分支設計實現的。此外，本文還介紹了 PIE-Bench++ 資料集，它是對原始 PIE-Bench 資料集的擴展，旨在更好地支援同時涉及多個物件和屬性的圖像編輯任務評估。
引言
現有的文字驅動圖像編輯方法主要集中在編輯源圖像中的單一方面，而對通過文字提示編輯多個方面的能力卻很少探索。本文介紹了多方面文字驅動圖像編輯的概念，以彌合這一差距。多方面圖像編輯使用戶能夠同時操作圖像中的各種方面，例如新增、刪除物件，更改物件屬性或背景。
然而，直接應用單一方面文字驅動圖像編輯方法在必須修改多個圖像方面的情況下通常無法產生令人滿意的結果。雖然可以按順序應用單一方面編輯方法，但這會導致更高的計算開銷，並且修改順序可能會影響品質。
方法
ParallelEdits 基於一個關鍵洞察力，即編輯步驟可以與圖像的擴散步驟並行發生。因此，在 ParallelEdits 中，圖像方面編輯被構建到擴散步驟中，以加速編輯過程。ParallelEdits 基於具有固定數量附加分支的架構，這些分支專用於處理剛性、非剛性和樣式變化。這種設計確保了可擴展性，而與更改的提示方面數量無關。
方面分組
首先，使用通過運行幾次擴散過程生成的注意力圖將源圖像中的方面分組到最多 N 個組中，每個組由一個不同的分支處理。方面分組分為兩個步驟：

為每個編輯操作分配一個類型（全局編輯、局部剛性編輯或局部非剛性編輯）。
將每個編輯操作分類到 N 個組中，這些組根據注意力圖之間的重疊程度進行創建。

無反演多分支編輯
每個分支接收一組特定的方面，並執行無反演編輯。第 n 個分支根據其 (n-1) 個分支進行校準，第一個分支根據源分支進行校準。N 路目標分支校準可以同時進行，從而節省了大量的計算時間。
跨分支交互

對於剛性局部分支，來自先前分支的交叉注意力圖要麼被切換到當前分支，要麼被注入當前分支。
對於非剛性局部分支，保留先前分支中的關鍵和值特徵，同時使用先前分支的注意力遮罩來指導編輯過程。
對於所有全局分支，不會替換注意力特徵或遮罩，並且注意力遮罩不會用於指導編輯過程。
實驗
PIE-Bench++ 資料集
本文介紹了一個新的資料集 PIE-Bench++，它源自 PIE-Bench，專用於評估多方面圖像編輯的效能。PIE-Bench++ 擴展了 PIE-Bench，允許進行多方面編輯：57% 的資料集每個提示有兩個方面編輯，19% 的資料集有兩個以上的編輯，其餘 24% 的資料集有一個方面編輯。
評估指標
除了標準評估指標外，本文還介紹了兩個專為評估多方面文字驅動圖像編輯而設計的新指標：

方面準確度-LLaVA：利用大型視覺語言模型（LLaVA）來評估多方面圖像編輯的準確度。
方面準確度-CLIP：使用 CLIP 相似度來評估屬性是否已成功編輯。
結果
在 PIE-Bench++ 資料集上的實驗結果表明，ParallelEdits 在編輯效果方面優於所有基準模型，執行時間略長於 InfEdit 模型。消融研究和分析進一步證明了 ParallelEdits 的多分支設計、早期方面分組和跨不同編輯方面數量的穩健性的有效性。
結論
ParallelEdits 是一種新穎的方法，可以熟練地同時處理多個屬性編輯，通過獨特的注意力分組機制在單個和多個屬性編輯中保持編輯品質，而不會增加計算複雜度。
局限性和失敗案例

無法處理圖像中的文字編輯。
無法編輯劇烈的背景變化。
未來方向

根據圖像各個方面的內在順序進行編輯。
改進 ParallelEdits 的局限性。

統計資料

57% 的 PIE-Bench++ 資料集每個提示有兩個方面編輯。
19% 的 PIE-Bench++ 資料集有兩個以上的編輯。
24% 的 PIE-Bench++ 資料集有一個方面編輯。

從以下內容提煉的關鍵洞見

ParallelEdits: Efficient Multi-Aspect Text-Driven Image Editing with Attention Grouping

by Mingzhen Hua... 於 arxiv.org 11-01-2024

https://arxiv.org/pdf/2406.00985.pdf

深入探究

如何將 ParallelEdits 扩展到更复杂的编辑场景，例如涉及多个交互对象的编辑？

将 ParallelEdits 扩展到涉及多个交互对象的复杂编辑场景是一个值得探索的挑战。以下是一些潜在的思路：

更精细的 Aspect Grouping: 目前的 ParallelEdits 主要根据注意力图的重叠程度进行分组。对于交互对象，可以考虑引入关系检测或图神经网络，分析对象之间的语义关系，将具有强交互关系的对象分到同一分支进行处理。例如，"人骑马" 中 "人" 和 "马" 的编辑应该被视为一个整体。

多阶段编辑: 对于复杂的交互，可以将编辑任务分解成多个阶段，每个阶段处理一部分交互关系。例如，先编辑单个对象的外观和姿态，再调整对象之间的相对位置和交互方式。

引入条件生成: 可以借鉴条件图像生成的思路，将已编辑的对象作为条件，指导其他对象的生成和编辑。例如，先生成"人"，再根据"人"的姿态和位置生成与其交互的"马"。

强化学习: 可以利用强化学习训练一个代理，学习如何根据编辑目标和图像内容，选择合适的编辑操作和参数，逐步完成复杂的交互对象编辑。

ParallelEdits 如何处理不同编辑操作之间的潜在冲突，例如添加一个与现有对象重叠的新对象？

ParallelEdits 通过以下机制来尽量减少不同编辑操作之间的冲突：

多分支并行编辑: 将不同类型的编辑操作分配到不同的分支并行处理，可以减少不同操作之间的相互干扰。例如，将"添加对象"和"改变背景"分别分配到不同的分支，可以避免新对象受到背景变化的影响。

注意力机制: ParallelEdits 利用注意力机制控制每个编辑操作的影响范围，避免对无关区域进行修改。例如，添加新对象时，注意力机制可以将编辑范围限制在新对象周围，避免影响到其他已有的对象。

多阶段校准: ParallelEdits 的多阶段校准机制允许后续分支参考前面分支的编辑结果，从而更好地协调不同操作之间的关系。例如，添加新对象后，后续分支可以根据新对象的位置和大小调整其他对象的布局，避免出现重叠或遮挡。

然而，ParallelEdits 并不能完全消除所有潜在的冲突。例如，如果添加的新对象与现有对象在语义上或空间上高度重叠，ParallelEdits 可能无法完美解决冲突。未来研究可以探索更精细的冲突检测和解决机制，例如引入语义分割或三维场景理解，更好地处理复杂场景下的对象交互和冲突。

如何利用 ParallelEdits 的多方面编辑能力来改进其他计算机视觉任务，例如图像生成和图像检索？

ParallelEdits 的多方面编辑能力为改进其他计算机视觉任务提供了新的思路：
1. 图像生成:

更精细的图像控制: ParallelEdits 可以作为图像生成模型的后处理步骤，对生成的图像进行精细化调整，例如改变对象属性、添加新对象、调整对象关系等，从而生成更符合用户需求的图像。
可控的图像编辑: 可以将 ParallelEdits 集成到图像生成模型中，实现对生成过程的更精细控制，例如根据文本描述逐步生成图像，或根据用户反馈动态修改图像内容。
2. 图像检索:

基于文本的图像编辑和检索: 可以利用 ParallelEdits 根据文本描述对图像进行编辑，例如添加、删除或修改对象，然后利用编辑后的图像进行检索，从而提高检索的准确性和灵活性。
跨模态图像检索: 可以利用 ParallelEdits 将文本描述转换成图像编辑操作，然后在图像特征空间中进行检索，从而实现更有效的跨模态图像检索。
3. 其他应用:

图像修复: 可以利用 ParallelEdits 对图像中缺损或遮挡的部分进行修复，例如根据周围环境信息补全缺失的物体，或根据文本描述修复图像中的错误。
图像合成: 可以利用 ParallelEdits 将多个图像中的对象或区域进行组合，生成全新的图像，例如将不同人物的面部特征进行融合，或将不同场景中的元素进行拼接。
总而言之，ParallelEdits 的多方面编辑能力为计算机视觉领域带来了新的可能性，未来将会在更多应用场景中发挥重要作用。