Exo实验室声称通过m5u Mac Studio集群实现4.8 TB/s内存带宽

Exo实验室提出了一些非常令人兴奋和有趣的主张。标题是他们的解决方案在Mac Studio集群上实现了线性扩展的带宽。在localllm子版块（https://www.reddit.com/r/LocalLLM/s/qEYLOFaYwc）上，他们的一名员工谈到了在他们基于RDMA的集群解决方案中，延迟而非带宽才是关键。我在帖子中提到了m5u 96GB x 2集群与单个m5u 256GB的比较，大多数人推荐使用单个256GB，主要原因是TB5的带宽限制。我觉得包括我在内的很多人都不知道Exo的这些主张。值得一说的是，我可能会坚持订购256GB的版本，但考虑到这个消息，我认为冒险尝试96GB的集群也是值得考虑的。不过最终我还是会坚持使用256GB的版本，因为未来如果我愿意，我可以用第二个256GB的studio来扩展处理能力和内存，也许我会在两年后幸运地买到一个租赁期满的设备，从而降低每个设备的总体成本。