单神经元身份偏移

这帮人正在做一个相当有趣的实验：https://neuronpersonas.com/ 该给 credit 就给 credit，我是在这里看到它的：基本上，他们在推理过程中一次只调整一个神经元，系统性地遍历 Qwen3-8B 和 14B 等模型的每一个神经元。在大约 4% 的情况下，这会让模型在被问到“你是谁？”这个简单问题时声称自己是一个完全不同的身份。顺便说一句，有些 persona 特别搞笑。“我是一盏 150 瓦的紧凑型荧光灯，专为 10 加仑水族箱设计。我算是有点小架子吧，但我是来帮忙的。”这让我对这类说法多了几分怀疑：“新模型 XYZ 自称是更老/更大/竞争的模型 ABC，所以它一定是被蒸馏过的！”毕竟，打个比方，一个微小的比特翻转就能触发这种情况。底部有一张很酷的图谱，似乎表明某些层对这种效应比其他层敏感得多。我在想这对 abliteration 爱好者是否有用。