提出图像智能体视觉委托任务基准与模块化框架
原文:Can Image Agents Complete Visual Commissions? A Benchmark and Modular Framework
视觉委托要求图像智能体整合异构源材料、在依赖阶段之间保持需求一致性,并产出协调统一的交付物。现有评估考察的是特定能力和执行设置,对端到端委托完成情况的理解仍然不足。我们提出Visual Commission Bench(VCB),包含12个类别、三个互补层级的600个任务,从能力聚焦型任务到完整委托。VCB使用5,039项需求检查和独立的视觉质量评分来评估内容正确性、视觉实现、约束保持和交付完整性,而不规定内部工作流程。我们提出V-Protocol,一个参考智能体,在推理时动态组合可复用的任务模块、认知模块和表达模块。任务模块组织交付,认知模块推导内容,表达模块引导视觉实现。各模块交换结构化中间产物,共享执行框架跟踪产物修订和依赖关系、管理工具执行并检查完成情况。在与智能体基线相同的控制器和图像生成器下,V-Protocol在VCB上达到69.0%的严格任务成功率,而SCOPE为42.0%。在Mind-Bench上,严格准确率从39.2%提升至45.4%。作者:Tong Li, Lishuai Gao, Qi Zeng, Yifan Li, Cong Wei 分类:cs.CV