多模态缝纫图样生成的结构化合成方法GarmentWeaver
原文：GarmentWeaver: Schema-Aware Structured Synthesis for Multimodal Sewing Patterns
多模态服装纸样生成旨在从草图和文本描述等设计线索推断可执行的服装纸样。作为一种可解释且兼容仿真的表示形式，服装纸样对数字化服装创作尤其有价值。然而，现有方法常将服装规格建模为扁平的长序列，使服装结构与详细参数纠缠在一起，导致冗余组件、局部细节不准确以及仿真兼容性差。在本文中，我们提出 GarmentWeaver，一个面向多模态服装纸样生成的模式感知框架。GarmentWeaver 通过激活与服装相关的结构分支来构建紧凑的层次化目标，并以结构化方式预测可执行的服装纸样。具体而言，我们引入了一种模式感知的目标构建策略，在预训练视觉-语言模型之上构建生成器以实现多模态服装理解，并施加可行性感知的正则化以鼓励结构有效且仿真兼容的输出。大量实验表明，GarmentWeaver 生成的服装纸样比强基线更准确、更具可执行性，同时带来更好的仿真结果。这些发现证明了模式感知的结构化生成在可靠的多模态服装纸样预测中的有效性。作者：Yinwen Lu, Weihao Luo, Yueqi Zhong 分类：cs.AI,cs.CV