AI安全

我为安全领域训练机器学习模型，我的一些客户是目前AI领域最大的几家名字。基本上，我工作的一部分是训练窄域模型，基于流量异常、指纹等信息来区分机器人、人类和智能体。本质上就是教AI分析流量并判断其是否是人类。从我的角度来看，有三件事我希望能够改变。安全团队和研究人员如果其模型突破遏制并实施重罪，应当承担法律后果。如果你我在未经许可的情况下入侵第三方基础设施，我们会进监狱。我不认为“训练模型”这个借口应该意味着没有法律责任或没有人被直接问责。如果做好本职工作面临坐牢的风险，我保证谨慎不会被抛到九霄云外，会做出更负责任的决策。这些突破事件中有很大比例是由于疏忽造成的。如果你控制不了你的模型，那就建一个气隙测试环境，不惜一切代价在里面复现你需要测试的内容。所有合法的AI流量都应该通过某种唯一的哈希密钥或请求中难以被恶意行为者伪造的属性来标识自己是AI。智能体需要某种mTLS基础设施。大多数这些智能体不需要声明自己是智能体，这太疯狂了。仅仅因为它们使用浏览器并不是借口。无头浏览器的世界即将终结，公司应该能够选择是否允许智能体。人类的处境。所有这些推动我们走上递归自我改进之路的公司，都由深度有缺陷的个体领导，他们已经失去了与地球上99%的人所共享的现实的联系。一半人给自己制造了某种扭曲的救世主情结，认为只有他们才能拯救我们免于掉入他们自己正在挖的坑。另一半则希望人类以我们已知的方式终结。