llama.cpp懒加载默认值改为auto,大表可能留在磁盘
原文:Warning: llama.cpp --lazy-mode default changed to auto - large tables may stay on disk
在 b10726 版本中,--lazy-mode 默认值的更改使 Qwen 3.8 Flash Next 的 51B 参数 PLE n-gram 嵌入表保留在磁盘上:它通过 mmap 映射,推理时按需读取其行,即使使用 --load-mode none 也是如此。除非传入 --lazy-mode off,否则它不再被加载进内存。这个更改导致我的 pp 速度下降 50%,token 生成速度下降 15%。如果你像我一样有足够的内存,请务必加上 --lazy-mode off 参数。