RuleForge从示例推断视觉规则并生成可执行程序
原文：RuleForge: Inferring and Instantiating Latent Visual Rules as Executable Programs
视觉规则推理考察多模态模型能否从少量示例中恢复抽象概念。现有研究要么从视觉示例推断规则但仅评估分类或语言化，要么以规则作为输入来监督可执行生成。因此，视觉规则理解与可靠规则实例化之间的关系仍未得到充分探索。我们提出Bongard-Forge100k——一个受控基准，以及RuleForge——一个与骨干无关的框架，联合学习视觉规则理解与规则条件可执行生成。该基准包含108,797道题：86,000道用于训练，19,297道用于测试熟悉规则，3,500道用于测试留出规则组合。该框架依次经过规则理解训练、联合理解与场景程序监督，以及通过带理解回放的执行接地强化学习进行精炼。在多个随机种子下执行生成的程序，可对可执行性、规则满足度、多样性与鲁棒性提供可验证反馈。以UniLIP作为主要骨干，RuleForge在熟悉规则上将基座模型的多选题准确率提升20.93个百分点，在留出规则组合上提升28.42个百分点，同时将熟悉规则上的场景级规则满足度从2.91%提升至70.99%。在InternVL3.5、Qwen3-VL与Show-o2上的额外实验证明了所提训练数据与框架在多种多模态架构上的有效性。作者：Weifeng Xu、Yaxiong Wang、Zhedong Zheng。类别：cs.CV。