Sam Altman：“本地推理是对稀缺资源的糟糕分配”
奥特曼称本地推理是对稀缺资源的糟糕分配
原文：Sam Altman: “Local inference is a terrible allocation of scarce resources”
Sam Altman：“本地推理是对稀缺资源的糟糕分配。很多人想要本地推理，不知怎么他们就假设问题现在已经解决了，因为我们有了开源模型，我们能在自己的电脑上运行它们，所以我们就不需要数据中心里的那些东西了。但从全球分配的角度看，让每个人都把世界上有限供应的 DRAM 一堆堆地放在自己电脑里、只用了 5% 的时间，实际上相当糟糕。如果你要应对这种供应极度受限的环境，你希望云端实现最大利用率，不知怎么很多人的直觉却恰恰相反。”—————————————————————— TL;DR 卖产品的人说：“这就是为什么拥有自己的产品、而不是从我这里租用，是个糟糕的主意”（感谢 @RyanTStull，他的 TLDR 让我笑了）
🖼 相关图片
查看原文 ↗
观点声音