← 返回信息流
产品 Reddit-LocalLLaMA · /u/Puzzleheaded_Acadia1 2026-10-18 18:52 🔥 热度 1

有没有适用于lfm 24b a2b的Strata?

用户询问LFM 24B A2B在16GB内存上的运行方案

原文:Is there a Strata for lfm 24b a2b

有没有Strata的分支能让我只在16GB内存上舒适地运行lfm 24b a2b?另外每秒大概能期待多少tps,应该用什么量化?谢谢!由/u/Puzzleheaded_Acadia1提交[链接][评论]

查看原文 ↗ 产品应用技术论文

📌 相关阅读

YOLO图像识别+评估模型|这个思路能发SCI吗? 热度 9 [小说作者工具]夜里闲来无事拿AI做了个听书的工具,方便作者闲暇时间戴上耳机听着更改,免费分享 热度 9 夯爆了!史诗级更新支持语音交互!火爆全网的开源虚拟陪伴AIRI来了! 热度 9 我宣布这是2026年脑洞炸裂的AI漫剧!昔日能斗垮半个侯府的狠角色,一朝穿越,竟成任人欺凌的炮灰小妾,看她重开棋局搅动侯府风#AI漫剧 #一口气看完 热度 9 为什么 大模型 的显存管理,竟然要向操作系统学习?——PagedAttention 热度 9