【导读】浙江大学ReLER团队开源ContextGen框架 ，攻克多实例图像生成中布局与身份协同控制难题 。基于Diffusion Transformer架构 ，通过双重注意力机制，实现布局精准锚定与身份高保真隔离 ，在基准测试中超越开源SOTA模型 ，对标GPT-4o等闭源系统，为定制化AI图像生成带来新突破 。
在定制化AI图像生成领域 ，多实例图像生成（MIG）面临一个关键的协同控制挑战：精确布局控制和多主体身份保真的同步实现。
现有方法往往只能达成二者之一 ，少数能兼顾的方法在性能上也存在显著不足 。
为解决这一布局与身份的协同控制瓶颈，浙江大学ReLER团队提出了ContextGen框架 ，首次在Diffusion Transformer (DiT) 架构内部 ，通过双重上下文注意力机制实现了架构级的分层解耦控制 。
ContextGen在基准测试上，身份保持能力超越SOTA开源模型，并成功对标了GPT-4o和Nano-Banana等强大的闭源系统 ，实现了在复杂定制化控制方面实现了关键突破。
论文地址：https://arxiv.org/abs/2510.11000
代码地址：https://github.com/nenhang/ContextGen
行业痛点，多实例生成中的「协同控制挑战」
当前MIG模型在实际应用中 ，主要表现出在布局精准度与身份保真度协同控制上的挑战：
宏观布局难以固化：即使模型显式提供了布局控制功能，生成的多个实例也难以精确地锚定到用户指定的空间位置 ，属性泄露和实例遗失现象频发 ，导致生成图像的构图混乱且不符合预期 。
身份细节极易丢失：目前很多模型都支持多主体定制化，但主体数量增加时 ，身份细节丢失的概率会显著上升 ，生成结果往往无法忠实还原每个实例的独特身份特征 。
ContextGen的核心突破在于：它利用注意力机制控制的上下文学习，实现了对这两个问题的协同解决 ，并在多个关键基准上达到了新的SOTA水平。
核心机制 ，布局锚定与身份隔离
ContextGen框架基于DiT架构构建，将所有输入整合成一个统一的Token序列T ，创新在于在DiT模块中嵌入了两个功能不同的「注意力核」 。
宏观布局控制模块
上下文布局锚定 (Contextual Layout Anchoring, CLA)机制是DiT网络的「布局控制器」 ，负责全局结构和构图：
机制：该模块采用的注意力掩码MCLA允许查询Token q与所有文本 、图像和布局Token进行广泛通信 。
效果：通过在DiT模块的前置和后置层建立宏观约束，确保生成的实例能够鲁棒且精确地遵循用户指定的布局要求。这种图像层面的宏观布局引导更适配于现有的DiT上下文学习机制 ，简单而有效地提升了布局控制的准确性。
微观身份隔离模块
身份一致性注意力 (Instance Consistency Attention, ICA)机制是解决多主体身份混淆与丢失的「身份隔离器」：
机制：采用隔离式的注意力掩码MICA ，强制限制位于实例n边界框Bn内的查询Token q，只能关注其自身区域Bn 、文本T以及对应的参考图像Rn
效果：这一设计在DiT模块的中间层 ，切断了不同实例身份Token之间的交叉通信 ，它为每个实例创造了一个「注意力孤岛」，从机制上保障了多主体身份信息的高保真隔离注入 ，这一机制在应对实例重叠、压缩等复杂场景时 ，能有效缓解身份信息丢失问题，同时在上下文变长时 ，也能维持鲁棒的身份保真度 。
辅助优化与数据基石
DPO强化学习：引入直接偏好优化 (DPO)，解决了监督微调可能导致的布局僵硬复制问题，从而增强了生成图像的多样性和自然度 。
IMIG-100K数据集：团队同步发布了IMIG-100K ，首个包含详细布局与身份标注的 、含有不同难度层级的 、大规模高质量多实例合成数据集。
实验结果，开源SOTA ，对标闭源巨头
ContextGen的性能突破 ，体现在布局精度和身份保持两个维度：
布局精度提升：在COCO-MIG基准上，空间准确性(mIoU) 实现了+5.9%提升 ，验证了ContextGen在精确构图上的领先性 。
身份保持的突破：在LAMICBench++身份保持测试中，ContextGen的在较多主体下的身份保真度(IDS) 比肩甚至超越了GPT-4o和Nano-Banana等闭源模型 。这一关键结果证明了ContextGen在复杂多主体场景中 ，对细节的保真还原能力。
定性结果清晰显示，ContextGen也能还原细粒度的面部特征 ，也能灵活融合不同风格的参考图像 ，同时还能遵循用户的布局设计要求 。
前端支持 ，用户友好界面
团队还开发了一个简单的前端界面，用户可以上传自己的参考图像 ，方便地设计布局 ，从而定制化生成多实例图像 。
结语
ContextGen框架通过在DiT架构中引入CLA和ICA双核注意力机制 ，创新性地实现了宏观布局和微观身份信息的架构级分层解耦。
这一工作不仅为多实例生成提供了SOTA解决方案 ，成功突破了布局与身份的协同控制瓶颈，也为DiT等基础扩散模型在高度定制化AIGC任务中的应用开辟了新的技术路径 。
作者简介
本工作由浙江大学ReLER团队完成 ，其中第一作者是浙江大学计算机科学与技术学院本科生许瑞航 ，通讯作者为浙江大学求是讲席教授杨易老师 。ReLER团队长期致力于人工智能领域的前沿研究，包括但不限于生成模型、多模态学习 、AI+X等方向。
参考资料：https://arxiv.org/abs/2510.11000
本文来自微信公众号“新智元” ，编辑：LRST ，36氪经授权发布 。
本文来自作者[勤浩宇]投稿，不代表视听号立场，如若转载，请注明出处：https://www.stddy.com/life/202512-67104.html
评论列表（4条）
我是视听号的签约作者“勤浩宇”！
希望本篇文章《对标GPT-4o和香蕉，浙大开源ContextGen：布局身份协同新SOTA》能对你有所帮助！
本站[视听号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览：【导读】浙江大学ReLER团队开源ContextGen框架，攻克多实例图像生成中布局与身份协同控制难题。基于Diffusion Transformer架构，通过双重注意力机制，...