低秩空间捕捉LLM与人类听语言时神经活动的线性对齐
原文：A Low-Rank Space Captures Linear Alignment Between LLM and Human Neural Activity During Naturalistic Language Listening
大语言模型（LLM）越来越多地被用作人类语言处理的计算模型，但其表征中哪些成分驱动了与神经活动的对齐仍不清楚。在这里，我们使用岭降秩回归来识别LLM表征中的大脑预测子空间：即支持神经反应线性预测的表征方向。在涵盖颅内电生理和fMRI的三个自然语言聆听数据集，以及涵盖自回归、双向掩码和随机初始化语言模型的六种模型条件下，我们发现仅使用原始嵌入维度的1-3%即可恢复完整的线性编码性能。这些低维子空间可泛化到留出的参与者，并在较小程度上跨数据集泛化，表明神经预测性集中在一个紧凑且部分共享的表征空间中。接下来我们将这些大脑预测方向与嵌入中的主变异轴进行比较。主成分分析需要显著更多的维度才能恢复神经预测，这表明对预测神经活动最有用的方向不同于捕捉LLM表征本身最大总体方差的方向。最后，对学习到的子空间进行表征使我们能够揭示在神经活动中相对于LLM表征过度表达的可解释特征。总之，这些结果表明LLM-大脑对齐由模型表征中一个小的、结构化的子集所支持，并提供了一个更好地理解这些表征为何对齐的框架。代码见：https://github.com/thefinnlab/low-rank-alignment