Rennala NSGD异步优化超越欧氏几何
原文：Rennala NSGD: Asynchronous Stochastic Optimization Beyond Euclidean Geometry
矩阵感知优化器（如Muon（Jordan et al., 2024）和Shampoo（arXiv:1802.09568））的经验成功凸显了非欧几里得几何在深度学习（包括大语言模型训练）中的潜力。尽管取得了这些进展，对一般赋范空间中随机优化的理论理解仍然有限，尤其是在分布式设置中。我们分析了有限维空间上关于任意范数的光滑非凸优化的小批量随机梯度下降（SGD）。利用κ-正则赋范空间框架（arXiv:0809.0813），我们推导了在由更新范数诱导的对偶范数中直接表述的轻尾条件下的高概率预言机复杂度界。这些界通过对偶空间的正则常数κ使几何依赖性显式化。在欧几里得情况下，我们的界在对数因子范围内恢复了标准小批量SGD速率。对于某些非欧几里得几何和噪声模型，它比通过转换欧几里得噪声假设获得的界更紧，将线性维度依赖降低为对数依赖。在此框架基础上，我们引入Rennala NSGD，一种半异步分布式算法，并在固定、异构工作节点计算时间下建立了挂钟时间复杂度保证。在欧几里得情况（κ=1）下，我们的界在对数因子范围内匹配经典Rennala SGD的参数依赖性。作者：Igor Sokolov, Alexander Tyurin, Peter Richtárik 类别：cs.LG, cs.DC, math.OC