研究：用DeepSeek/GLM Flash模型和自定义框架匹配Claude Code + Sonnet 5.5的设计质量

大家好！我一直在开发一个名为Rivermark的自定义智能体框架，用于社交、营销和印刷设计。任何尝试过用LLM（甚至是前沿模型）做这件事的人都知道，与网站和应用设计相比——LLM在这些方面能力强得多——社交和营销设计可能时好时坏。基准测试包含112个请求，涵盖企业可能向智能体提出的各种社交和营销图像需求。有些包含完整的品牌套件，有些有品牌的网站参考，还有些从零开始。好了，基于4700多次成对盲人人类评判的首批结果出来了！我的头条发现——也是我没想到的——是开源模型，如DeepSeek v4.1 Flash 1017和GLM 5.3 Flash，可以匹配甚至超越搭配Sonnet 5.5和/design的普通Claude Code。Sonnet 5.5本身在Rivermark下获得最大提升——跃升至对其他所有组合的显著领先。这也令人惊讶，因为我本以为“更聪明”的模型优势会更小，因为它们已经内置了这些知识。我正在写博客文章并用更多评判者验证发现，但想先分享这些有趣的初步结果。第一张图中可以看到这些模型/框架组合的Bradley-Terry排名。第二张图是成本与质量的对比，第三张图中可以看到一些代表性示例，展示模型在Rivermark下与普通框架下的输出对比。当然，有一些非常重要的注意事项：这是一个针对设计的专用框架。它包含一些领域知识（我尽量保持了限制）。随着前沿模型越来越好，这些优势往往会被抹平，但目前它们提供了一种以一小部分成本获得类似结果的方法。该框架已在一些模型上投入生产运行，因此针对它们进行了调优。（但不是基于基准测试的测试用例）它目前与产品本身（https://rivermark.ai）紧密绑定。我计划