Qwen3.8-Flash在5090上跑分超Claude Opus
原文:Qwen3.8-Flash-Next Strata pi beat Claude-code Opus 5.5 on a 5090
编辑说明:标题有误导性,特此澄清:Qwen3.8-Flash-Next Strata pi 在 5090 上击败 Claude-code Opus 5.5,是在一个专门用于比较日常任务模型的基准测试上,并非要贬低前沿模型。—— 原帖:我在 Strata 上使用 Qwen3.8-Flash-Next,以 pi 作为运行框架,它在 11 分钟内于 airbench 测试套件上取得了 100% 的分数。Claude Code 在相同任务上得到相同分数,但用了 14 分钟。(Airbench 测试各种对日常使用有用的任务。它不是用来区分前沿模型的基准测试。)模型:https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF Strata:https://github.com/Niko1221/Strata pi:https://github.com/earendil-works/pi 以及用于验证配置的 airbench:https://airbench.ai/ 更多细节:复现所需硬件:一块 24GB 或以上的 NVIDIA GPU,约 64GB 或以上的系统内存,以及 90GB 的可用磁盘空间。内存才是真正的瓶颈:IQ3_S 量化版本在内存中保留约 50GB 的专家权重。在我的 64GB 机器上可以运行但很紧张:运行期间大约只剩 5GB 空闲,还有少量 swap 使用。Strata 自己对 IQ3_S 在 256k 上下文下的估计约为 78GB。模型服务器配置(Strata)模型:ISTA-DASLab 的 Qwen3.8-Flash-Next GSQ-RCO 量化版,IQ3_S(3.5-bit)。Strata 在首次启动时会下载它(约 84GB)。构建一次镜像(我使用的是 commit 99f3dbd;5090 的 CUDA_ARCHITECTURES 为 120,3090 为 86):git clone https://github.com/Niko1221/Strata cd Strata git checkout 99f3dbd docker build -t strata:99f3dbd --build-arg CUDA_ARCHITECTURES=120 . 使用 IQ3_S 量化和 256k 上下文运行:docker run -d --gpus all --net=host --shm-size=8gb --ulimit memlock=-1 -v /path/to/strata-data:/data -e HOST=127.0.0.1 -e PORT=9000 -e FAMILY=qwen -e MODEL=IQ3_S -e CONTEXT=262144 -e VISION=yes --name strata strata:99f3dbd 它在 http://127.0.0.1:9000/v1 提供 OpenAI 兼容 API,模型 id 为 qwen3.8-flash-next-iq3_s。其他一切都是 Strata 的默认设置。引擎自动选择的配置参数:--expert-cac