探索联邦超图学习中的潜在跨客户端对应关系
原文:More Is Better? Exploring Latent Correspondence in Federated Hypergraph Learning
具有潜在跨客户端超边对应关系的联邦超图学习面临根本性的可识别性和计算挑战,因为同一局部释放可以对应多种全局超图结构。我们刻画了恢复这些潜在对应关系的可处理性,表明成对分配是可处理的,但多客户端超边匹配通常是不可处理的。基于这一刻画,我们推导了交叉熵分解,揭示了局部预测何时能优于使用额外跨客户端信息拟合的预测器。受此原理启发,我们提出联邦自适应谱训练与表示对齐(FedASTRA),通过自适应热扩散和掩码潜在预测学习对应关系不变的扩散表示,同时仅通信模型参数。我们建立了其在允许的局部信息方面的渐近最优性,并在恢复、表示和更新对齐的明确条件下证明了全局种群风险收敛。在八个真实世界数据集上的实验证明了FedASTRA相对于无标识符联邦图和超图方法的有效性。在ogbn-papers100M上,FedASTRA达到性能-通信帕累托前沿,实现50.07准确率和29.73 Macro-F1,每轮仅通信59.60 MiB。作者:Bo Yan, Siming Zhang, Siqi Li, Hang Yu 分类:cs.LG,cs.DC