[更新基准] Basalt 的新 PR（Strata fork）在单张 RTX 5080 和 51 GB RAM 上创下 IQ3_S Qwen3.8 Flash Next 新纪录，提示处理 5500 tok/s，峰值生成最高 275 tok/s（在开放……期间）
Basalt新PR在单张RTX 5080上创Qwen3.8 Flash Next推理纪录
原文：[Update Benchmark] Basalt's new PRs (Strata fork) new record IQ3_S Qwen3.8 Flash Next on single RTX 5080 and 51 GB RAM with 5500 tok/s prompt processing and up to 275 tok/s peak generation (during opencode coding live session)
代码和工具调用峰值可达 275 tok/s——推理轨迹最高 190 tok/s。硬件：5080 16GB PCIe gen5x16，64 DDR5 6400，Core Ultra 9 285K https://github.com/jesdga95/basalt 一些以我名字（xyehya）提交的优化 PR 仍在等待中，但上游已经有可靠的收益和内存优化。是的，IQ3_S 非常可用。由 /u/yehyakar 提交 [链接] [评论]
🖼 相关图片
查看原文 ↗
开源项目