CUDA：在 MMQ 中融合 MoE gate/up 矩阵乘法与 GLU（llama.cpp PR #31188）
llama.cpp合并CUDA MoE门控与GLU融合PR，提速17%
原文：CUDA: fuse MoE gate/up matmuls and GLU in MMQ by anujj · Pull Request #31188 · ggml-org/llama.cpp
立即下载你的 CUDA/MoE 提示处理加速：GPU 型号 主分支 PR DGX Spark (GB10) Qwen3-30B-A3B Q4_K_M 2911.4 3410.8 +17.2% Qwen3.6-35B-A3B Q4_K_M 3235.8 3556.7 +9.9% Qwen3.6-35B-A3B UD-Q4_K_M 3264.7 3561.8 +9.1% RTX 5090 Qwen3-30B-A3B Q4_K_M 12611.7 13330.3 +5.7% Qwen3.6-35B-A3B Q4_K_M 15000.3 15852.0 +5.7% Qwen3.6-35B-A3B UD-Q4_K_M 15030.2 15947.8 +6.1% 由 /u/jacek2023 提交
🖼 相关图片
