新AI团队的三大错误

你的公司可能正在组建一个AI团队。这个AI团队一开始充满激情。然而，通常情况下，它会与现实发生碰撞。我在RAG领域工作。到目前为止，我已经亲眼目睹了十几个新兴AI团队的成长。作为一个被引入AI搜索领域昂贵灾难的顾问，我在这里是有偏见的。就像一个警察，只看到街头生活中艰难、粗犷的一面。我所看到的AI团队中的许多痛苦与2010年代新兴搜索团队所经历的非常相似。诚然，这给了我一个偏颇的视角，但也许是一个有用的视角。评估：我们不能假设我们知道什么是'好'。优秀的搜索/AI组织将其投资的约50%用于理解问题，而不是解决问题。AI也是如此。这意味着评估。你想找到产品改进的机会吗？不要盲目相信你的产品经理的意见，评估！你知道有些事情不对劲，但无法准确找到你的代理失败的地方？你需要评估。你想根据用户行为训练模型吗？评估变成了训练数据。我的同事Hamel Hussain和Shreya Shankar教授了一整门关于AI评估的课程。他们专注于衡量端到端的产品成功，而不是通用指标。然后他们有一种方法可以分解并找到薄弱点。也许是检索？也许是你的护栏？也许是其他东西？即使在搜索中，我也无法在没有评估基础的情况下开始。12年前，我创建了Quepid，因为在对话系统、搜索或AI中，没有客观的对/错答案。我学会了积极地不信任我的直觉。我试图与我的客户/顾客一起发现应该发生的事情。多年前，我为Advance Auto Parts的内部搜索做了一个项目。我以为当员工搜索一个产品时，他们只是希望该产品出现。不：他们实际上想知道的是“我将因销售什么而获得奖励？”你的工作不仅仅是构建东西，你还是一个科学家。评估、假设、测试、改进。