提出统一输出空间分析改进机器遗忘方法
原文：Loss is Not Behavior: A Unified Output-Space Analysis of Gradient-Based Machine Unlearning
基于梯度的机器遗忘方法通常通过优化遗忘损失和保留损失来实现“遗忘”，但相似的损失并不一定意味着相似的输出空间行为。已有研究表明，仅凭较高的遗忘损失并不能证明遗忘已经产生了类似重训练的模型输出行为。因此我们提出：当一个基于梯度的遗忘器与仅在保留数据上训练得到的模型存在差异时，所产生的输出空间差距具有怎样的结构？我们在线性回归中推导了该差距的闭式表达式，并通过广义高斯-牛顿和局部线性近似将其扩展到非线性模型。我们的分析将多种基于梯度的方法纳入一个由几何、重加权和投影参数化的统一框架。在此框架下出现了两个杠杆矩阵，用于刻画重训练模型几何下遗忘-保留之间的纠缠关系：遗忘自杠杆和保留交叉杠杆。我们从理论和实验两方面证明，这两个杠杆矩阵驱动了遗忘残差对遗忘输出和保留输出的影响，而现有方法仅部分地考虑了这种几何结构。我们的框架提供了可预先计算的杠杆诊断工具，用于审计遗忘集，以识别哪类基于梯度的遗忘方法更可能成功。作者：Xingjian Zhao、Mohammad Mohammadi Amiri、Malik Magdon-Ismail。类别：cs.LG