在128GB M5 Max上以350K上下文运行Qwen3.8-Flash-Next（79 GB，2-bit）3.5小时——速度与上下文深度，100次对话，一个图表

设置：MacBook Pro M5 Max，128 GB统一内存，macOS 26.5.2；llama.cpp b10686（Metal，12线程，批处理2048，flash-attn，kv-unified，ngram-mod spec解码）；Qwen3.8-Flash-Next UD-Q2_K_XL（Unsloth），78.9 GB；通过YaRN从原生262,144扩展到358,400-token上下文槽，fp16 KV。权重+完整的350K KV在默认的96 GB GPU有线限制下可以容纳——无需sysctl黑客。 会话：一个槽，100次对话，两次对话。Conv 1在前缀重用上从0增长到48K上下文；在大约20分钟的空闲后，槽只保留了5.5K的系统前缀，所以下一次对话在333秒内冷填充了整个105K提示——运行中最长的填充——并且对话持续增长到169,425上下文，这是会话的最深点（350K是槽容量，从未填满）。槽重置；conv 2增长到大约125K时我停止了捕获。 图表：x = 槽上下文大小，每次测量发生的位置；y = 打印的tokens/s，对数刻度（两个阶段跨越大约2个数量级）。绿色 = 提示处理，红色 = 标记生成。点 = 进行中的检查点，方块 = 每轮的最后。 无平滑，无拟合。填充（绿色）：平滑的顶部曲线是冷填充——第一次检查点（5.6K上下文）时为1,561 t/s，随着KV填充到111K时逐渐减少到318 t/s。下面绿色区域是正常回合的样子：每个深度有几千个新标记（77–854 t/s，延伸到169K上下文），因为前缀重用意味着只有增量被填充。解码（红色）：一个清晰的锥形——在小上下文时约30–35 t/s → 45K时约21 → 100–125K时13–15 → 169K时11.5 t/s。在大约140K时下降到7.7 t/s是macOS的低功耗模式；仍然可用。解码数字的一个注意事项：它们是启用ngram-mod spec解码的有效吞吐量（草稿接受率取决于内容，范围为0-81%），而不是基础模型速度。实际解读：使用前缀重用时，一轮的填充是几秒钟；5.5分钟的填充只发生了一次，在空闲间隙之后。解码在169K上下文时仍然保持互动。体验：前约100K上下文时表现强劲。超过这个范围，在长尾任务上，它开始