仿射潜参数化神经网络逼近率的理论分析
原文：Sharp Approximation Rates for Neural Networks with Affine Latent Parameterizations
许多参数高效方法通过低维潜在表示来生成大型神经网络的参数。给定一个具有 P_Φ 个参数槽的架构 Φ，我们记 θ_f = G(ξ_f)，其中 G:R^M→R^{P_Φ} 是参数生成器，ξ_f∈R^M 是目标函数 f 的潜在表示。架构 Φ 和生成器 G 在整个目标类上共享，而每个目标 f 由其自己的潜在向量 ξ_f 表示，Φ_{G(ξ_f)} 用于逼近 f。这一框架涵盖了超网络、低维参数化、参数高效适配和模型压缩。因此，理解潜在维度 M 与网络预算 P 之间的权衡，是刻画这些方法表达效率的关键。我们研究了仿射生成器与全连接 ReLU 架构下的这一权衡。更精确地说，通过在满足 P_Φ≤P 的架构 Φ 和仿射生成器 G:R^M→R^{P_Φ} 上进行联合优化，我们证明了在 [0,1]^d 上 α-Hölder 函数单位球上的最优最坏情形一致逼近误差……（0<α≤1 时）作者：Shijun Zhang 分类：cs.LG,stat.ML