CVPR 2026新作：AI绘画正式迈入「所控即所得」时代

商汤科技研究团队 投稿 
量子位 | 公众号 QbitAI

你有没有遇到过这样的困境：

给AI描述了半天，图是生成出来了，但图片中的主体全在错误的地方各干各的，你想要的构图完全不见了……

如今的图像生成模型，早已能画出细节饱满、语义贴合的画面。可对于实际创作者来说，只做到“画面好看”远远不够。

在真实创作场景中，用户更关心的是：主体是否出现在指定区域，关键元素是否保持在特定位置，参考图中的人物或对象身份是否能在生成结果中稳定保留。

来自商汤科技研究团队的一篇CVPR 2026的会议论文ConsistCompose: Unified Multimodal Layout Control for Image Composition回答了这一长期存在的问题。将图像生成从“所想即所得”进一步推进到“所控即所得”——模型不仅需要理解“画什么”，还需要准确执行“画在哪里”。

背景：精准布局，为何仍是难题？

真实创作中的核心痛点

对于海报设计、电商主图、封面创作等专业场景，图像不只需要“好看”，更需要严格符合预设版式——哪个主体在左，哪个元素在右，都不能出错。

△当下通用多模态模型布局可控生成能力的缺失

当前商业化模型，包括ChatGPT Image 2.0在内，面对“生成一只猫，并指定猫、猫爪、门、地板等元素在画面中的具体位置”这样的需求时，依然难以满足。

现有方法的两条思路

学术界已有方法大致分为两类：

• 引入额外控制模块：通过额外控制模块或区域注意力机制引导生成，但与具体架构强绑定，难以迁移到统一多模态框架。
• 将布局视为独立模态的方法：引入专门空间token显式建模位置，却带来多模态融合与泛化的新问题。

两条路径指向同一个症结：布局控制被作为外部附加能力处理，而非模型原生接口的一部分。

真正的问题因此变成——能否在统一多模态模型原有的语言-视觉接口中，自然表达并执行实例级布局约束？ConsistCompose给出了肯定的回答。

技术方案：三位一体的完整框架

ConsistCompose提出了一套完整的闭环框架，核心由三个部分构成：ICBP（实例坐标绑定提示）、Coordinate-CFG（坐标无分类器引导）与ConsistCompose3M数据集，分别解决“如何表达布局”、“如何执行布局”以及“如何学习布局”三个层次的问题。

ICBP：将布局约束融入语言接口

ConsistCompose的核心思想直接针对上述症结：将布局信息显式写入语言序列，使坐标约束能够像文本语义一样被模型原生理解和使用。

为此，论文设计了Instance-Coordinate Binding Prompt（ICBP）——将每个实例描述与对应的归一化坐标直接绑定在文本序列中。以一段示例提示词为例：

  A cat <bbox>[0.109, 0.297, 0.607, 0.870]</bbox>    
  has extended paw <bbox>[0.497, 0.566, 0.564, 0.642]</bbox>.

在这种表示下，“cat”和“paw”不再只是语义描述，而是与明确的空间区域建立了绑定关系。文本、坐标、参考图像和生成目标在同一套序列建模框架中统一处理——空间控制不再是外挂的任务特定模块，而成为模型原生输入接口的一部分。

这一设计的优雅之处在于：它完全复用了统一多模态模型已有的语言理解能力，无需引入新的模态分支或特殊的空间编码器，架构改动极小，迁移成本极低。

Coordinate-CFG：内容与布局的显式解耦

ICBP实现了基本的布局可控生成，但也引入了一个新问题：内容条件与布局条件在同一序列中深度耦合——调整布局往往会连带影响内容生成，难以对二者进行独立控制。

为此，ConsistCompose进一步提出了Coordinate-CFG：在推理阶段引入可调节的坐标引导强度，将布局控制从内容生成中显式解耦。

△Coordinate-CFG在不同引导强度下的布局控制效果

其核心逻辑类似于经典的无分类器引导（CFG）机制，但专门针对坐标条件设计：

• 引导强度较弱时：模型保留更大的生成自由度，画面更加自然；
• 引导强度增强时：更严格地执行空间约束，对象与目标区域的对齐精度随之提升。

从论文展示的摩托车示例可以清晰看到，随着Coordinate-CFG从0.0增大到0.4，摩托车整体、前轮、后轮等各部件与标注框的对齐程度逐步提升，而图像整体质量和自然性得以保持。

内容“画什么”与布局“画在哪里”由此成为两个可以独立干预的控制维度——这也是ConsistCompose在工程实用性上的重要突破。

ConsistCompose3M：让模型真正学会多主体布局

方法设计之外，数据是布局可控生成能力得以落地的另一个关键。

△ConsistCompose3M数据示意图

论文构建了ConsistCompose3M数据集，共约340万样本：

• 约260万为布局可控文本到图像样本
• 约80万为多参考图像条件生成样本

与只关注单一对象或简单布局的训练数据不同，ConsistCompose3M更强调多实例、多参考图与组合式生成场景，覆盖了：

• 对象与坐标的绑定关系
• 多主体间的空间共存
• 参考主体的身份保持
• 复杂布局下的整体画面组织能力

这使模型不只学会“把一个对象放到指定位置”，而是建立起对多元素空间关系与主体一致性的系统性理解。

三者共同构成ConsistCompose的完整闭环：ICBP提供布局表达接口，Coordinate-CFG实现解耦可控的推理引导，ConsistCompose3M提供大规模数据支撑——从表示、执行到学习，环环相扣。

实验结果

布局可控文本到图像生成

在COCO-Position等标准基准上，ConsistCompose与GLIGEN、InstanceDiffusion、MIGC、MIGC++、CreatiLayout等主流方法对比，在以下核心指标上均取得最优结果：

△布局可控图像生成方法定量对比

值得强调的是，实例生成成功率与位置准确性同步提升——模型并非以牺牲生成完整性换取位置精度，而是在两个维度上实现了协同优化。

△布局可控图像生成方法定性比较

多参考图布局可控生成（MS-Bench）

在引入多参考图的复杂条件下，ConsistCompose同样表现出色，在MS-Bench和MS-Bench-Random上的DINO、mIoU、AP等关键指标均优于GLIGEN、MS-Diffusion、MUSE等对比方法，有效验证了其在多主体一致性生成场景下的泛化能力。

△多参考图布局可控生成MS-Bench定量对比

△多参考图布局可控生成MS-Bench定性对比

定性比较方面，ConsistCompose的生成结果在主体位置对齐和身份外观保持上均显著优于对比方法，整体画面自然性也得到保持。

项目价值

ConsistCompose所关注的，并不仅仅是布局控制这一单一能力，而是组合式图像生成中的一个核心挑战：如何在一次生成过程中，同时满足语义一致性、空间准确性、主体身份稳定性以及视觉自然性等多重约束。

它直接覆盖了三类高价值的真实创作场景：

• 布局可控生成：通过文本与坐标的组合，精确指定每个对象的空间位置，适用于海报设计、电商主图、封面创作等对版式有严格要求的场景。
• 图像要素重排：保留原图中已有的视觉元素，同时对空间关系进行重新编排——更接近设计师日常工作中“换版式，不换素材”的操作逻辑。
• 多主体一致性生成：从不同参考图中提取各自主体，在指定布局下组合进同一张图像，同时保持每个主体的身份特征与整体视觉一致性。身份保持、空间约束、图像自然性三重目标同时作用，是组合式生成中约束最为复杂也最贴近专业需求的场景。

ConsistCompose的探索表明，空间结构本身也可以被纳入统一多模态模型的语言表达与推理框架之中。当布局约束能够被自然地理解、推理与生成时，图像生成正在从单纯的内容生成，迈向更加可控、可执行的视觉创作。

某种意义上，这也代表着图像生成能力演进的一个重要方向——从“所想即所得”，逐步走向“所控即所得”。

论文：https://openaccess.thecvf.com/content/CVPR2026/papers/Shi_ConsistCompose_Unified_Multimodal_Layout_Control_for_Image_Composition_CVPR_2026_paper.pdf
GitHub：https://github.com/OpenSenseNova/ConsistCompose
HuggingFace：https://huggingface.co/sensenova/ConsistCompose-BAGEL-7B-MoT
项目主页：https://opensensenova.github.io/ConsistCompose/