流式联邦学习在马尔可夫数据下的泛化差距研究
原文：On the Generalization Gap of Streaming Federated Learning with Markovian Data
流式联邦学习（SFL）允许客户端从持续到达的数据中训练共享模型，而无需保留大型本地数据集。此类数据流通常表现出时间依赖性，但其对泛化的影响仍鲜有理解。本文使用信息论和率失真技术，研究客户端数据服从马尔可夫过程时聚合模型的期望泛化差距。我们的框架容纳客户端间异质的马尔可夫动态，并将时间依赖性与本地学习中获得的信息区分开来。我们在交叉熵损失下建立界，并将其特化到线性下一token预测（LNTP）和自注意力下一token预测（SANTP）。这些结果量化了客户端数量、通信轮次、样本量、数据维度、混合时间和上下文长度的影响。特别地，它们揭示了一种通信-泛化权衡：频繁聚合可能有助于优化，但会削弱泛化保证。它们还表明，在固定总数据预算下，分布式流式学习相对于集中式流式学习具有潜在优势。时间依赖性通过混合时间的平方根进入。通过分析历史状态过程，我们在适当混合条件下获得具有改进上下文长度依赖性的精细界。在 TinyStories 上的 GPT 风格语言模型预训练和真实世界时间序列预测实验，展示了时间依赖下协作和通信频率如何影响泛化。作者：Masoud Kavian、Milad Sefidgaran、Youssef Attia El Hili、Malik Tiomoko、Abdellatif Zaidi。类别：cs.LG、cs.IT、stat.ML