拓扑结构稳健的长上下文内存访问预测方法
原文:Topology Survives Shuffling: Robust Long-Context Memory Access Prediction for Graph Analytics
图分析通过间接遍历生成不规则的、依赖拓扑的内存访问流,限制了数据预取。准确的预测能够实现及时的预取,从而隐藏内存延迟。然而,机器学习预测器将短历史与固定预测范围耦合,拟合的是训练轨迹的节点布局而非学习可迁移的图模式。我们提出LoCoMAP,一个长上下文表示学习框架,用于内存访问预测,具有独立控制的观测历史和预测范围。我们在六种合成图族上评估连通分量(CC)、PageRank(PR)和单源最短路径(SSSP),以Erdos-Renyi(ER)和Grid作为随机和确定性对照组。我们测试了两种干预:同族再生改变连通性,而节点乱序破坏布局但保持连通性。在18个图-工作负载组合上,将历史从8次访问扩展到128次使F1提升7.8%,而将预测范围从8扩展到512使F1提升88.3%。对于CC,再生比乱序破坏性更小:在不重新训练的情况下,长上下文保留了原始F1的95.4%,并在六个图族中优于短上下文。在完全乱序下,长上下文在ER、Barabasi-Albert、Copying Model和随机块模型(SBM)上将CC的F1提升33.6%,其中SBM上增益达2.06倍,但在Watts-Strogatz或Grid上则不然——这些图中近零的增量质量移入超出预测器范围的重尾。长上下文在六个真实世界CC图上优于短上下文。在完全乱序下,长上下文PR保留了原始F1的57.6%,平均比短上下文高11.0%。两个SSSP模型在完全乱序下均保留约30%的原始F1,因为距离更新以新顺序访问顶点数据。在这些边界内,长上下文预测器无需重新训练即可在相关图和布局间保持鲁棒,从而实现可泛化的图预取器。作者:Dongyan Sun, Neelesh Gupta, Rajgopal Kannan, Viktor K. Prasanna