Quine测试衡量模型自我描述中保留的自我程度
原文：The Quine Test: How Much of a Model's Self Survives Its Own Description?
前沿语言模型表达出一致的偏好，但仅凭行为证据无法判断这些偏好属于模型本身还是它所扮演的角色。遵循Hofstadter将自我视为自我描述的观点，我们追问：模型对自身的描述能否作为其偏好画像的可移植规范——即奎因测试：模型关于自身写下的文本能否在其他地方再生其行为？来自九个实验室的十个模型撰写自我描述；我们将每一份放入其他模型（接收者）和作者全新实例的提示中，并测量它们在110项偏好测试集上的选择与作者选择的匹配程度。第一，经测试的原生自我描述（原生：在通用助手提示下测得的画像）在长度、框架、措辞和提示位置的各种变化中均未显示出平均重建增益：在0到1的保真度量表上，模型对自身全新实例的保真度为0.979，对无关模型约为0.89，在所有测试的系统提示条件下，汇总增益的单侧95%上界均低于+0.01，而基于作者观察选择编写的描述表现也不更好。第二，通道本身很强：明确列出作者的答案可使接收者在三个模型网格上以0.955至0.960的保真度重现其画像，与同模型可重复性相差在0.03以内。第三，在明确偏好策略下撰写的自我描述几乎与策略文本本身一样好地传递了指定偏好。第四，阅读自身的自我描述甚至会使作者偏离其基线，程度略大于同等长度的无关文本。对于此处测量的偏好，原生自我描述影响行为，但无法可靠地指定如何在另一个模型中重现该行为。我们发布了流程、测试集、原始调用日志和198份模型撰写的描述。作者：Bibin Babu, Ivan P. Yamshchikov, Aleksei Shpilman 类别：cs.CL