开发者探索本地LLM去中心化共享上下文方案
原文：Working on a way for local LLMs to share context without centralizing everything
我们几个人一直在琢磨一个本地LLM反复遇到的问题：模型可以是私有的，文件可以是本地的，但一旦多个人或多台机器需要相同的上下文，一切就开始变得混乱。你要么复制一堆嵌入或向量存储，要么手动搬运上下文，要么引入某种中心化服务——而这又在某种程度上违背了我们当初本地运行的初衷。我们正在实验的本质上是一个小型可移植的上下文层，有用的事实或决策可以在本地环境之间迁移，而无需附带整个底层数据集。还非常早期，我们正在争论溯源、权限、过期上下文以及模型实际应该被允许记住多少等问题。目前只有我们几个人在做这件事，所以我们有一个小小的Kibu pod来讨论构建和想法，但在进一步推进之前，我想问问这里的人：如果你在多台机器上或与团队一起使用本地模型，你现在是如何处理共享上下文的？你甚至希望模型在环境之间共享记忆或上下文吗，还是说让每个本地环境完全隔离恰恰是吸引力的一部分？由/u/recent_immunization提交[链接][评论]