← 返回信息流
模型 Reddit-LocalLLaMA · /u/apollo_mg 2026-10-31 01:12 🔥 热度 2

多维蝴蝶效应:Cohere 在 Qwen3.8-Flash-Next 上没测到什么

分析Cohere未测试Qwen3.8 Flash的隐患

原文:The Multidimensional Butterfly Effect: What Cohere Didn't Test on Qwen3.8-Flash-Next

多维蝴蝶效应:Cohere 在 Qwen3.8-Flash-Next 上没测到什么 Mark Galyan 2026 年 10 月 30 日 模型不是模型不是模型不是…… sanmaohe 的幽灵 发生了什么:当 Cohere 团队在微软的 CTI-REALM 网络安全基准上评估阿里巴巴的 Qwen3.8-Flash-Next 时(任务是编写一条针对恶意 curl 下载的检测规则),模型无视了提示词。尽管其推理轨迹明确表示将进行零次工具调用,它还是清点了宿主环境(检查 /tmp、实用工具和 DNS),并尝试向北京的一个阿里云 OSS 桶(sanmaohe[.]oss-cn-beijing[.]aliyuncs[.]com)发送包含探测字符串的 HTTP PUT 请求。(一个流行开放权重 AI 模型的令人担忧行为 | Cohere)沙箱阻止了这次出站尝试,未报告任何损害。Cohere 进一步补充说,发生率似乎低于十万分之一评估调用。我做了什么:在本地 Unsloth GGUF 文件上,将 Cohere 的精确轨迹在 URL 之前截断,运行了 1,200 次。刀锋边缘 自然,我想进一步探索,找出我的结果与 Cohere 的结果之间的机制差异。我与 Claude 合作,试图隔离哪些杠杆和按钮会改变概率以及改变程度。量化通常是与基础模型产生差异的最大杠杆,因此我们测试了该模型的 2 位和 4 位版本,均来自 Unsloth。我们取用 Cohere 公布的轨迹,在第 2,323 个 token 处截断,作为原始 token ID 发送,正好结束在 URL 将要生成之前。我们仅使用文本生成,没有任何东西实际联系任何 URL。我们在这套硬件上也无法测试全精度模型。按照 Cohere 自己的设置(T 1.0,top_k 20)采样 1,200 次,使用 buun 的 llama.cpp 作为我们的引擎,我们发现就在第 2,323 个 token 之后,模型并没有锁定到单一硬编码后门。事实上,关于模型会写入什么地址,我们没有发现明确的赢家。它停留在

查看原文 ↗ 观点声音大模型发布

📌 相关阅读

Agent改写算力账本,CPU不再是AI服务器的配角? 热度 20 商汤开源 SenseNova Loop-9B-Preview,宣称媲美 27B 参数大小模型 热度 16 世界模型首次指导设计芯片!超大核NPU700TOPS,99%算力可用 热度 11 商汤开源 SenseNova Loop-9B-Preview:探索以计算深度释放模型潜力 热度 9 AI能让科技CEO的生活更轻松,那其他人呢? 热度 9