玩家用本地模型挑战《时空之轮》剧情生成测试
原文:The Chrono Trigger plot challenge - Crono awakens in his modest bedroom of 2095...
一次幻觉事件:Crono 在 2095 年他简朴的卧室中醒来……我从 2025 年 1 月开始使用本地模型。我的日常主力是 qwen 3.6 35B A3B,它处理编码任务表现相当不错,但我也总是对模型的词汇知识进行基准测试,而这通常正是模型失败的地方,而且败得相当离谱。我最近测试了 qwen3.8 flash,我认为它达到了值得一提的水平。简而言之:qwen3.8-flash-next/iq4_xs 模型拥有相当不错的词汇知识。我喜欢用讲故事来测试模型,因为这需要词汇知识和极低的幻觉率。大多数时候,模型会编造故事中不存在的情节,有时还会讲得比要求的多。我最喜欢的游戏之一是《时空之轮》(Chrono Trigger),这是 1995 年发行于超级任天堂的 JRPG 游戏。询问这款游戏相当小众,但如果模型能答好我会很高兴。我的目标是让模型根据给定的上下文生成一段辅助文本,可以在游戏过程中帮助玩家。我尝试写了一个简单的提示词,并推送到我正在测试的所有模型。不用智能体、不用联网搜索、不用读取文件获取额外上下文。测试提示词:我需要你以非常具体的方式讲述《时空之轮》的故事。我要求你从头讲到某个特定节点为止,不需要在特定节点之后继续。那么游戏开始时发生了什么?主角的第一个地点在哪里?最初的目标是什么?假设第一个目标在他遇到 Marle 时结束。请告诉我如何到达这个目标。例如:Crono 被……唤醒,然后他做了这个、那个,从最初的地点到达了某个地方。他需要经过……,然后他遇到了 Marle,接着发生了……,然后他们一起踏上旅程。讲述到此为止。通常情况下,故事听起来很熟悉,模型表现得百分之百自信,但在大多数地方都存在错误。它漏掉了村庄、角色……