Qwen3.8-Flash-Next 双 RTX 5090 实测：解码 504 tok/s，QEngine 1.3.1 比次优引擎快约 1.5-1.9 倍（数据、注意事项与仍存在的问题）
QEngine在双RTX 5090上实现504 tok/s解码
原文：Qwen3.8-Flash-Next on 2x RTX 5090 with 504 tok/s decode: QEngine 1.3.1 decodes ~1.5-1.9x faster than the next-best engine I've tried (numbers, caveats, and what still bites)
https://github.com/bpx03/QEngine（非本人仓库，功劳归 bpx03）QEngine 原本是为 3 块 RTX 3090 构建的。我成功为 RTX 5090 编译了它。现在我在同一台机器上通过四种不同引擎运行了 Qwen3.8-Flash-Next。QEngine（bpx03，v1.3.1）在单流解码上明显最快，在智能体提示延迟上与 Strata 持平，并且它的 KV-in-RAM 模式让回到空闲对话的成本低得多。以下是细节，包括那些让它看起来不那么好的部分。配置：2 块 RTX 5090（各 32 GB）、Threadripper PRO 3975WX、251 GB 内存、262K 上下文。QEngine 的 INT4 AutoRound 版 Flash-Next。README 只列出了 sm_86，所以我通过将 CMAKE_CUDA_ARCHITECTURES 从 86 改为 120 来为 sm_120 构建（nvcc 13.3，g++-13）。没有其他改动。启动后 53 秒即上线服务。速度（club-3090 bench.sh，每个引擎使用相同脚本和提示词）引擎/量化 解码 叙事/代码（tok/s） 预填充 @10K / @90K（tok/s） QEngine 1.3.1（KV 在 VRAM，默认） 370 / 439 ~5.7K / ~7.3K QEngine 1.3.1（FLASH_KV=ram） 406 / 504 ~6.2K @10K Strata ISTA IQ3_S 214 / 293 ~5.1K / ~10.0K Strata UD-IQ4_XS 180 / 239 4,264 / 8,399 bucko vLLM fast-256k（调优） 135 / 141 2,888 / 3,886 bucko vLLM ple（出厂配置） 120 / 118 ~2.25K / ~3.1K Infernix（sdekok 分支，TP2） 14-18 不适用 请谨慎解读解码列。QEngine 的专家缓存会自适应近期使用情况，而 bench.sh 重复相同的提示词，所以这些数字接近最佳情况。在早前使用多样化流量的测试中，我测得单流约 300-400 tok/s（hermes 智能体流量每个请求为 330-470）。Strata 的缓存保留了约 99.5% 的路由专家质量，因此重复提示词对它没有帮助。公平比较大约是 Strata 的 1.4-1.9 倍、bucko 的约 3 倍。预填充结果好坏参半。QEngine 在 10K 时更快，但在 90K 时比 Strata 慢，因为 Strata 的速率随深度增加而上升，而 QEngine 保持平稳。智能体延迟（12 轮工具使用基准，上下文增长到 35K）第 12 轮提示词读取，前缀缓存生效：QE
🖼 相关图片
