Qwen3.8-Flash-Next NVFP4 对 4xV100 的第 3 天支持

RadixArk/Qwen3.8-Flash-Next-NVFP4 现在在 SGLang-V100 中得到支持。4 个 V100 32GB 运行完整上下文。超过 50 GB 的 ngram 被卸载到系统 RAM。预填充大约是 4000tks 平坦，解码一直到 256k 上下文的末尾大约是 60 tks。提示 TTFT 无 MTP TTFT MTP ITL 无 MTP ITL MTP 预填充 无 MTP 预填充 MTP 输出 无 MTP 输出 MTP 10k 2,154 2,307 16.75 12.33 4,655 4,354 59.93 81.39 30k 6,395 6,747 16.83 15.22 4,696 4,454 59.64 65.97 50k 11,381 11,497 16.89 18.17 4,397 4,353 59.45 55.26 70k 15,272 16,015 16.97 15.50 4,586 4,374 59.17 64.76 90k 19,830 20,777 17.00 18.92 4,541 4,334 59.04 53.06 110k 24,733 25,856 17.09 12.34 4,449 4,256 58.74 81.33 130k 29,553 30,950 17.14 12.19 4,400 4,202 58.57 82.33 150k 34,736 36,319 17.23 16.32 4,320 4,131 58.26 61.53 170k 39,705 41,747 17.36 17.42 4,283 4,073 57.83 57.64 190k 45,259 47,513 17.45 17.20 4,199 4,000 57.53 58.37 210k 51,017 53,538 17.59 16.10 4,117 3,923 57.07 62.36 230k 57,273 60,011 17.61 14.62 4,017 3,833 57.00 68.65 250k 63,451 66,587 17.66 16.04 3,941 3,755 56.85 62.58 并发 8192->1024 并发输出 无 MTP (tok/s) 输出 MTP (tok/s) MTP 差异 TTFT 无 MTP (ms) TTFT MTP (ms) ITL 无 MTP (ms) ITL MTP (ms) MTP 接受长度 1 55.12 74.82 +35.7% 1,552.28 1,637.65 16.62 11.76 3.375 4 137.26 149.25 +8.7% 4,856.90 5,049.17 24.39 20.04 3.089 8 172.98 194.13 +12.2% 8,000.80 8,329.74 38.43 28.94 3.130 16 239.36 183.87 -23.2% 14,063.34 14,524.25 53.12 55.64 3.048 https://github.com/haohervchb/sglang-V100 由 /u/Primary_Exchange21 提交 [链接] [评论]