Musubi提出用AI决策模型进行内容审核
原文：How AI decision models could change content moderation
随着决策模型在整个行业蔓延，一家名为Musubi的公司提出了一个新思路：用它们来做内容审核。周二，Musubi发布了一款专为实时审核打造的轻量级决策模型PolicyLM-1.7B，以开放权重形式发布。其思路是将用通俗英文撰写的内容政策直接应用于消息审核，耗时不到50毫秒。Musubi的模型在设计上力求在成本和速度上与大多数社交平台用于审核的AI分类器系统相当——但由于它具备现代LLM的灵活性，无需专门训练即可执行复杂政策。更重要的是，当政策发生变化时，该模型无需重新训练，这让人工政策制定者可以按需反复迭代。在Musubi联合创始人兼首席AI官Filip Jankovic看来，这为平台管理者提供了一种主动标注内容的方式。“产品团队只是想更好地了解平台上正在发生什么，尤其是在内容量呈指数级增长的情况下，”Jankovic说。“能够以高度可扩展、可定制的方式对所有这些内容进行标注，是非常有用的。”自9月Typesafe AI发布Jev以来，决策模型已成为AI界的热门话题，随后OpenAI和Amazon也相继推出了竞品决策模型。决策模型不输出文本，而是输出结果概率，不过在这个案例中，模型输出的是二元判断：内容要么属于该类别，要么不属于。通过将模型输出限制在一组预定选项内，决策模型能够比大语言模型运行得更快、成本更低，同时仍保持transformer架构的灵活性。一个早期用例是约束AI智能体的不当行为——因此将同样的技术应用于人类的不当行为也就顺理成章了。值得注意的是，Jankovic表示他对决策模型的兴趣早于Jev，可以追溯到2024年一个名为