外观指针——扩散 Transformer 的多模态区域控制

论文信息

标题: Appearance Pointers -- Multimodal Region Control of Diffusion Transformers

作者: Rahul Sajnani, Yulia Gryaditskaya, Radomír Měch, et al.

发布日期: 2026-07-21

arXiv ID: 2607.19344v1

PDF 链接: 下载 PDF

论文背景与研究动机

近年来，扩散变换器（Diffusion Transformers, DiTs）已成为图像生成领域的核心架构，其原生支持文本和图像令牌的异构输入，为多模态生成提供了强大基础。然而，创意工作者在实际工作中往往需要精确控制图像中不同区域的材质、物体身份和空间布局，而仅仅依靠文本提示无法可靠地实现这种细粒度的区域级操控。现有的可控生成方法大多基于较老的 U‑Net 架构，或仅支持单一模态（纯文本或纯图像），难以在单次生成过程中同时结合图像参考和文本描述，并对多个区域进行精准的空间约束。

为了解决这一痛点，本论文提出了 外观指针（Appearance Pointers）—— 一种紧凑、模态无关的令牌表示，能够将文本或图像输入与用户指定的空间掩码对齐，指导扩散变换器在正确的空间位置调用正确的视觉线索。该方法无需从零开始重新训练基础模型，并首次在 DiT 中实现了统一的多模态区域控制接口，填补了当前可控生成在实际应用中的关键空白。

核心方法：外观指针的设计与原理

外观指针的核心思想是生成一种 “路由令牌”，它告诉 DiT 在生成过程中哪里使用用户提供的原始图像和文本描述，而不是直接存储外观信息。这种设计保留 DiT 架构灵活性的同时，添加轻量级、模块化的区域控制能力。

区域与条件编码

给定一组区域掩码 $R_i$ 和局部提示 $P_i$ （可以是文本、图像或二者组合），首先将图像提示通过 VAE 编码为 $\mathcal{P}_i^I$ ，文本提示通过 FLUX Kontext 的 T5 编码器编码为 $\mathcal{P}_i^T$ 。掩码本身被视为一张图像输入同一个 VAE 编码器，并在编码前注入坐标信息以提供明确的空间定位，得到增强后的掩码令牌 $\mathcal{P}_i^R$ 。

区域–提示链接

引入一个轻量的区域对应变换器 $\Phi_{RC}$ ，将掩码令牌与图像、文本令牌联合处理，生成两个语义特征图：

{}^I M_i,\; {}^T M_i := \Phi_{RC}([\,\hat{{}^R \mathcal{P}_i},\; {}^I \mathcal{P}_i,\; {}^T \mathcal{P}_i\,]).

这两个特征图分别对应 DiT 的图像流和文本流，实现了区域与条件信号的对齐。该变换器独立处理每个区域，且与扩散时间步无关，仅在生成开始时运行一次，显著降低了计算开销。

空间聚合生成外观指针

为了将所有区域信息压缩为紧凑的表示，作者设计了区域聚合变换器。在每一个空间位置（patch）独立进行区域维度的自注意力，并引入可学习的 [CLS] 令牌，最终产出统一的外观指针：

{}^T \mathcal{AP} := \Phi_A^T([{}^T A, {}^T \mathcal{M} \odot {}^R \mathcal{P}]),\quad {}^I \mathcal{AP} := \Phi_A^I([{}^I A, {}^I \mathcal{M} \odot {}^R \mathcal{P}]).

其中 $\mathcal{M}^T, \mathcal{M}^I$ 是堆叠所有区域特征图得到的张量， $\odot$ 表示哈达玛积，用于强化区域掩码的限制。这一聚合步骤将多区域信息折叠为与 DiT 空间尺寸匹配的统一画布，并确保身份保持和图像连贯性。

基模型条件注入

最终，将图像外观指针 $^I \mathcal{AP}$ 与噪声令牌、局部图像提示一起传入 DiT 的图像流，文本外观指针 $^T \mathcal{AP}$ 与全局文本提示、局部文本提示传入文本流。同时加入由所有区域边缘聚合而成的轮廓图，通过 VAE 编码后注入 DiT，进一步优化区域边界的精度。

这种设计使模型能够在一个去噪过程中处理任意数量的区域和混合模态条件，同时参数量仅增加约 3.33%，计算复杂度从 $\mathcal{O}(T\cdot (R N_{reg})^2)$ 降至 $\mathcal{O}(R (N_{reg}/k)^2)$ ，确保高效率。

创新点与贡献

模态无关的统一控制接口：首次在 DiT 中实现图像和文本的区域级统一引导，同一模型可同时处理两种模态，无需额外适配器。
紧凑的外观指针令牌：通过区域对应和聚合机制，将多区域信息浓缩为少量令牌，避免序列长度爆炸。
单次去噪多任务支持：支持区域控制生成、物体插入、姿态控制以及单区域多模态联合描述（如材质替换同时结合文本）。
数据集贡献：创建了 AppearancePointers‑37K 数据集，包含精细的区域文本描述、多视角图像及自动生成流程，为多模态区域控制研究提供基准。
即插即用的模块化设计：所有新增模块可基于预训练 DiT 进行 LoRA 微调，无需重新训练整个模型，便于实际部署。

实验结果分析

在文本区域描述任务上，与 InstanceDiffusion、DreamRenderer、Seg2Any 等对比，外观指针在 CLIP‑IQA（95.02）、CLIP‑I（90.40）和 DINO‑I（56.09）上均取得最优或次优，表明其在全局质量、区域保真度和语义对齐上的显著优势。在图像区域描述任务上，超越 MS‑Diffusion 和 DreamRenderer*，尤其在 DINO‑I（69.31）和 MIoU（40.97）上领先，证明更强的身份保持和空间精确度。

消融实验进一步揭示各组件的作用：移除区域聚合会导致身份保持急剧下降（DINO‑I 从 69.31 降至 54.47）；去除区域轮廓引导则使 MIoU 从 40.97 降至 35.81；禁用外观指针掩码或位置 ID 重采样均会损害多区域场景的准确度。此外，随着区域数量增加，身份指标 CLIP‑I 保持稳定，仅空间 MIoU 因遮挡略有下降，显示出良好的扩展性。

在编辑（多物体插入）场景下，外观指针以单次生成击败了迭代式的 InsertAnything，在 CLIP‑I 和 MIoU 等指标上均取得优势，且避免了多次插入导致的图像质量退化。

实践应用建议与未来方向

外观指针为创意领域的可控生成提供了坚实的技术底座。对于从事 AI 图像生成、广告设计、影视预可视化的实践者，可以从以下几个方向加以应用：

精确的区域编辑与材质替换：在产品宣传中，可仅用一张参考材质图和对应掩码，快速将某物体的材质替换为指定金属、木纹等，同时保持背景和其他物体不变。
多物体场景组装：给定一组零散的商品图和布局掩码，生成统一的广告图，保持每个商品的身份特征，大幅降低人工合成成本。
交互式原型设计工具：将外观指针集成至 Photoshop、Figma 等工具中，用户只需涂抹区域并上传参考图或输入文本，即可实时生成局部修改后的结果。
影视预演与概念设计：支持同时使用图像参考（如特定建筑风格）和文本描述（如 “傍晚阳光”）对画面局部进行精细化控制，加快创意迭代。

未来，外观指针的模态无关特性使其易于扩展至 3D 场景、视频帧或音频驱动的生成任务。效率优化方面，可探索进一步压缩令牌或采用更快的注意力机制，以支持实时编辑。另外，增强对极小区域（如人脸细节、文字）的保持能力，以及提升同时处理 10 个以上区域时的稳定性，仍是重要的研究方向。

总结与展望

外观指针以一种优雅的方案解决了扩散变换器无法精准定位多模态区域控制信号的问题。它通过紧凑的指针令牌将空间掩码与图像、文本描述桥接，实现了单次去噪中灵活、高保真的多区域生成与编辑。实验表明，该方法在多数指标上达到或超越了当前最先进的单模态方法，同时具备极强的通用性——同一套权重即可应对文本区域生成、图像参考插入、多模态混合控制等多种任务。

这一工作不仅推动了可控图像生成的技术前沿，更为创作者提供了从模糊提示走向精准意图表达的工具。从 “生成什么” 到 “在哪里生成、如何生成”，外观指针让生成模型真正走近专业用户的复杂需求。随着未来向更高维度、更实时的方向演进，我们有理由期待外观指针成为多模态生成创作中不可或缺的基础组件。