图解Strata稀疏激活与权重分层技术
图解 LLM · 第 3 期 专家库比显存还大，模型怎样继续生成？ 从一个 token 出发，介绍 Strata 的稀疏激活、权重分层、CPU/GPU 并行、热点 Expert 缓存，以及 Prefill 和投机解码中的权重复用。 结合 RTX 4090D 24 GB 的测试，分别观察缓存容量与未命中分流的影响。教学成本模型与实测结果分别标注；测试沿同一 token 序列做完整前向，关闭 MTP 与在线缓存替换。 内容对应我的技术笔记《How Strata Works》。源码分析与完整测试记录：