观点：模型追逐不现实基准，实用智能已达成
原文：Models are chasing unrealistic benchmarks but the working-level intelligence is already achieved
我有一种感觉，近期的基准测试正不切实际地把标准推向普通开发者很少涉足的领域，比如二进制逆向工程，或用某些精心挑选的设计模式一次性生成复杂应用。我们真正想要的是一个准确的模型，能遵循指令而不过度发挥（例如不会做出不必要的炫技式 3D 渲染）。如果我提示模型“生成一只骑自行车的鹈鹕的 SVG”，一个简单、干净的图形就应该算 100% 通过。除非特别提示，模型没有理由硬塞进 3D 阴影、动画或繁复的背景。我认为这是一个主要误区：仅凭模型实现的 3D 细节来评判它，而这些细节从一开始就没人要求过。那么，最新模型新增的边界情况能力中，有多少在我们日常使用 AI 时真正有用？如果它们没被用到，在排行榜上的权重就应该低得多。相反，我们看到的是，这些边界情况能力却获得了非常高的分数。也许你并不需要更强的模型，就能在你的业务领域取得完全相同的成果。但我理解，让模型能力停滞的想法与 AI 市场估值永远增长的理念相悖，所以必须永远给它打气；只是说说而已。由 /u/Informal-Trouble2183 提交 [链接] [评论]