Qwen3.8-Flash-Next在4xR9700上实现高速本地推理
原文：Qwen3.8-Flash-Next turns 4xR9700 into a local AI powerhouse! 120 t/s TG and 12k t/s PP single request with optimized vLLM
如果你手上有 4xR9700，一直在等能让它们大放异彩的模型，那我有个好消息！使用 tcclaviger 的 MXFP4-FP8 量化版本以及针对 R9700 优化的自定义 vLLM 镜像 docker.io/tcclaviger/vllm:DevQwenNextFlash，单请求生成速度可达 80-120 token/秒，预填充速度可达 12k token/秒。此配置下的总上下文（所有并行请求共享）为 700k token。完整命令如下：podman run --rm -it \ --init \ --network host \ -v /models:/models:ro \ -v ~/.vllm-cache:/cache \ -e VLLM_PLE_CPU_OFFLOAD=1 \ -e VLLM_ROCM_USE_AITER=0 \ -e ROCR_VISIBLE_DEVICES=0,1,2,3 \ -e VLLM_CACHE_ROOT=/cache/vllm \ -e TORCHINDUCTOR_CACHE_DIR=/cache/inductor \ -e TRITON_CACHE_DIR=/cache/triton \ --device /dev/kfd \ --device /dev/dri \ --group-add keep-groups \ --annotation run.oci.keep_original_groups=1 \ --security-opt label=disable \ --security-opt seccomp=unconfined \ --shm-size 8g \ docker.io/tcclaviger/vllm:DevQwenNextFlash \ /models/tcclaviger/Qwen3.8-Flash-Next-MXFP4-FP8 \ --served-model-name Qwen3.8-Flash-Next \ --tensor-parallel-size 4 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --enable-auto-tool-choice \ --max-num-seqs 16 \ --enable-prefix-caching \ --enable-chunked-prefill \ --kv-cache-dtype fp8 \ --max-num-batched-tokens 4096 \ --gpu-memory-utilization 0.96 \ --mm-processor-cache-gb 4.0 \ --override-generation-config '{"max_tokens": 65536, "temperature": 1.0, "top_p": 0.95, "top_k": 40, "presence_penalty": 1}' \ --speculative-config '{"method": "mtp", "num_speculative_tokens": 4}' \ --compilation-config '{"cudagraph_capture_sizes": [5,10,15,20,25,30,35,40], "max_cudagraph_capture_size": 40}' \ --host 0.0.0.0 \ --port 8080