用户咨询二手Xeon加3090Ti主机是否适合本地推理
原文：old Xeon X99 PC with 256GB RAM + RTX 3090 Ti worth it for Strata LLM inference?
我在本地市场找到这台二手主机，大约420美元：- CPU：Xeon E5-2640 v3（8核/16线程）- 主板：X99（具体型号未知）- 内存：16GB DDR4（计划升级到256GB）- 存储：128GB SSD - 附带一台1080p 144Hz显示器和配件。我打算加上我的RTX 3090 Ti 24GB并升级到256GB DDR4，主要想用Strata Engine通过内存/显存卸载来跑大模型。这是本地能买到的少数可能支持超过128GB内存的便宜平台之一。我的问题是：这颗老Xeon能用于Strata推理吗，还是它的CPU和内存带宽会让速度慢得难以忍受？值得买吗，还是应该避开？