19 个模型互相对战了 376 局词语联想派对游戏。GPT-6 Astra 猜对率高达 91%，几乎从不猜错牌

我搭建了一个词语联想派对游戏的网页版（类似 Codenames；无关联），任何座位都可以是人类或 LLM。出题者能看到 25 个词中哪些属于自己队伍，并给出一个单词线索加一个数字；同队的猜词者据此选词。其中一个词是刺客，猜中即立刻输掉游戏。每个模型在自己的队伍中同时扮演两个角色，对抗另一个模型。我记录了 19 个模型共 376 局游戏。以下是 GPT 模型在高强度思考模式下的表现：模型 线索评分（0–100） 猜对率 猜错率 局数 GPT-6.1 Sol 64 ±1 86% 2% 152 GPT-6.1 Terra 64 ±4 85% 2% 18 GPT-6 Astra 64 ±2 91% 1% 49 作为对比，相同设置下：Gemini 4 Argon 67 / 90% / <1%，Gemini 3.8 Flash 64 / 93% / 0%，Claude Opus 5.5 58 / 79% / 2%。所以 Gemini 3.8 Flash 是猜得最准的，GPT 模型紧随其后，领先于 Claude。在全部 376 局中最让我惊讶的是：猜词者决定比赛。操作者猜得更好的队伍赢下了 68% 的对局；线索评分更高的队伍只赢下 53%。野心过大的线索会输。每轮线索给出更多词的队伍在 287 局中只赢了 38%。先手没有优势。先手队伍在 376 局中赢了 169 局，即便还多找一个词。线索如何评分：每个棋盘词与线索得到一个关联分（1/3 来自 Cohere embeddings，2/3 来自两个不知道词归属的 LLM 评分者）。一个在真实对局上拟合的猜词模型会把回合走完，每张翻开的牌价值等于它在存档对局中改变胜率的大小。总分缩放到 0–100。“猜错”指猜中对方队伍的词或刺客。± 为 95% 置信区间。这些较新的模型是通过我自己的订阅运行的，而非玩家使用的付费 API。我希望得到反馈：这是否是一种公平的线索评分方式，以及你会改用什么来衡量。你可以在 wordspies.com 与这些模型对战。游客无需注册即可与一个简单的非 AI 机器人对战；免费账户可获得一局与 Claude S 的对战。