用户为M5 Ultra 512GB挑选本地部署模型
原文:Models to download for M5 Ultra 512GB
我刚下单了 TB5 扩展坞和 4TB SSD,为 M5 Ultra 512GB 做准备。我计划提前下载以下模型。想请教 M3 Ultra 512GB 的用户:在 512GB 的限制下,这些量化版本是不是表现"最优"的?GLM-5.3 和 Kimi-K3 最多能跑到多长的上下文?如果方便的话,能贴一下它们的 pp 和 tg 速度吗?对 glm-5.3-flash、qwen3.8-flash-next 和 DSV4F 跑 8-bit 模型有意义吗?还有其他值得下载的大模型吗?非常感谢提前。模型及内存占用:pipenetwork/GLM-5.3-MLX-mixed-4_8bit 427.8GB;pipenetwork/GLM-5.3-Flash-MLX-mixed-4_8bit 181.9GB;pipenetwork/Qwen3.8-Flash-Next-MLX-mixed-4_8bit 106.2GB;pipenetwork/DeepSeek-V4-Flash-MLX-mixed-4_8bit 165GB;pipenetwork/Kimi-K3-REAP73-MLX-mxfp4-q8 451GB