AI知识蒸馏的信息论可靠性安全边界研究
原文：Information-Theoretic Reliability--Safety Bounds and Finite-Alignment Dynamics in AI Knowledge Distillation
人工智能（AI）的可靠性和安全性，以及它们通过知识蒸馏的传递和演化，已引起越来越多的关注。我们建立了一个关于可靠性-安全性权衡的信息论边界，并刻画了知识蒸馏下这种权衡的动力学。我们首先证明了一个与具体模型形式无关的普适权衡不等式。其边界仅由单一参数Kh决定，该参数量化了隐藏层区分良性与危险输入的能力。然后我们开发了一个AI响应行为的规范玻尔兹曼机模型，并推导出可靠性与安全性之间的两个精确关系。权衡曲线由危险判别能力K决定，而整体回答倾向控制着沿曲线的工作点。这些关系与现有实验数据吻合良好。在知识蒸馏中，我们发现教师响应诱导学生模型权衡参数的重整化。我们进一步使用重整化群方法研究多代蒸馏，推导出精确的递归关系以及两种代表性直接代际蒸馏协议在任意师生对齐强度下的相关重整化群类流。这些流揭示了不动点结构、长期动力学和临界行为，为能力损失与稳定传递之间的临界转变提供了可检验的预测。作者：Miao-Miao Yi, Zhen-Yu Cai, Y -M. Du, C. P. Sun 类别：cond-mat.stat-mech,cs.AI