← 返回信息流
产品 Reddit-LocalLLaMA · /u/dh7net 2026-10-10 21:54 🔥 热度 1

Qwen3.8-Flash-Next Strata pi 在 5090 上击败 Claude-code Opus 5.5

Qwen3.8-Flash在5090上跑分超Claude Opus

原文:Qwen3.8-Flash-Next Strata pi beat Claude-code Opus 5.5 on a 5090

编辑说明:标题有误导性,特此澄清:Qwen3.8-Flash-Next Strata pi 在 5090 上击败 Claude-code Opus 5.5,是在一个专门用于比较日常任务模型的基准测试上,并非要贬低前沿模型。—— 原帖:我在 Strata 上使用 Qwen3.8-Flash-Next,以 pi 作为运行框架,它在 11 分钟内于 airbench 测试套件上取得了 100% 的分数。Claude Code 在相同任务上得到相同分数,但用了 14 分钟。(Airbench 测试各种对日常使用有用的任务。它不是用来区分前沿模型的基准测试。)模型:https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF Strata:https://github.com/Niko1221/Strata pi:https://github.com/earendil-works/pi 以及用于验证配置的 airbench:https://airbench.ai/ 更多细节:复现所需硬件:一块 24GB 或以上的 NVIDIA GPU,约 64GB 或以上的系统内存,以及 90GB 的可用磁盘空间。内存才是真正的瓶颈:IQ3_S 量化版本在内存中保留约 50GB 的专家权重。在我的 64GB 机器上可以运行但很紧张:运行期间大约只剩 5GB 空闲,还有少量 swap 使用。Strata 自己对 IQ3_S 在 256k 上下文下的估计约为 78GB。模型服务器配置(Strata)模型:ISTA-DASLab 的 Qwen3.8-Flash-Next GSQ-RCO 量化版,IQ3_S(3.5-bit)。Strata 在首次启动时会下载它(约 84GB)。构建一次镜像(我使用的是 commit 99f3dbd;5090 的 CUDA_ARCHITECTURES 为 120,3090 为 86):git clone https://github.com/Niko1221/Strata cd Strata git checkout 99f3dbd docker build -t strata:99f3dbd --build-arg CUDA_ARCHITECTURES=120 . 使用 IQ3_S 量化和 256k 上下文运行:docker run -d --gpus all --net=host --shm-size=8gb --ulimit memlock=-1 -v /path/to/strata-data:/data -e HOST=127.0.0.1 -e PORT=9000 -e FAMILY=qwen -e MODEL=IQ3_S -e CONTEXT=262144 -e VISION=yes --name strata strata:99f3dbd 它在 http://127.0.0.1:9000/v1 提供 OpenAI 兼容 API,模型 id 为 qwen3.8-flash-next-iq3_s。其他一切都是 Strata 的默认设置。引擎自动选择的配置参数:--expert-cac

查看原文 ↗ 产品应用开源项目

📌 相关阅读

[开源] tavern-labs-ai/character-ai-sdk:默认人设、持久化角色记忆与多提供商适配器,一个包全搞定 热度 12 [开源] glincker/awesome-selfhosted-ai:自托管开源 AI 精选清单:本地 LLM、聊天 UI、Agent、MCP 服务 热度 10 [小说作者工具]夜里闲来无事拿AI做了个听书的工具,方便作者闲暇时间戴上耳机听着更改,免费分享 热度 9 夯爆了!史诗级更新支持语音交互!火爆全网的开源虚拟陪伴AIRI来了! 热度 9 我宣布这是2026年脑洞炸裂的AI漫剧!昔日能斗垮半个侯府的狠角色,一朝穿越,竟成任人欺凌的炮灰小妾,看她重开棋局搅动侯府风#AI漫剧 #一口气看完 热度 9