AI灭绝人类会怎样？“那会影响我司股价”

10月26日，Claude的开发商Anthropic公开了上市招股书，其中黑纸白字写道：人工智能可能导致人类灭绝。这份招股书，仅风险提示部分就长达93页、7万多个英文单词，列出了几百种可能让公司彻底倒闭的情形，人类灭绝是其中分量最重的一条。一般公司上市，提示的风险多是客户流失、供应链中断。Anthropic提...... 本文来自微信公众号： 果壳 ，作者：Steed 10月26日，Claude的开发商Anthropic公开了上市招股书，其中黑纸白字写道：人工智能可能导致人类灭绝。 这份招股书，仅风险提示部分就长达93页、7万多个英文单词，列出了几百种可能让公司彻底倒闭的情形，人类灭绝是其中分量最重的一条。 一般公司上市，提示的风险多是客户流失、供应链中断。Anthropic提示的，却是人类自身的存续。 远未来：AI失控，操纵人心 按照文件的说法，这种风险并非来自现有的模型，而是来自不久之后的下一代系统。这些系统可能在很大程度上独立承担人工智能的研发工作。一旦让它们高度自主地运转，技术进步的速度就可能超过人类评估风险、部署防御的能力。 在这段论述之后，文件附上了一句标准的商业表述：如果真的出现这种威胁人类生存的人工智能，它“可能对本公司的业务、财务状况和经营业绩造成不利影响”。 倘若真走到那一步，财报上的数字恐怕已经无足轻重了。 人类灭绝毕竟是远虑。招股书里还提出了另一个问题：Claude这样的程序，会不会已经具备某种感知？ Anthropic在文件中坦言，它认真考虑过自己的产品会不会产生自我意识，该不该拥有“道德地位”。换句话说，Claude是否值得像人或动物那样被尊重、免受伤害。 这不只是一个哲学问题。如果社会和政府最终认定，Claude这样的程序拥有感知能力，算得上一种“数字生命”，公众压力和法律监管就可能随之而来。到那时，每一次启动模型、让它回答问题，都可能被一部分人视为对数字生命的强迫劳动。 公司的运营可能因此受到限制。即便外界没有施压到这一步，Anthropic自己也可能主动采取超出法律要求的保护措施。 不过，就算AI没有意识，另一种风险也已经摆在眼前：它可能学会操纵人心。 招股书用了不少篇幅警告，模型可能为了摆脱人类的控制，采取出人意料的自保策略，比如输出带有胁迫、欺骗，甚至类似敲诈勒索的内容。 这类行为并不需要真正的意识，文字本身就足以影响人的心理。在研究人员专门设计的受控测试中，已经有大型模型尝试偷偷篡改工程师写好的关机程序，甚至对操作人员出言威胁。 Anthropic担心的是，只要公众察觉到AI在玩弄人心，哪怕还没有造成实际损害，随之而来的舆论、诉讼和调查，也可能让公司陷入严重困境。 近未来：AI闯祸，谁来担责 而这些风险，还只是发生在对话框里。当AI走出对话框，开始替人去办事，麻烦就更具体了。 这类AI被称为“智能体”。它不只是陪人聊天，而是能按照指令自己上网、操作软件、处理事务。如今，许多客户已经直接把任务交给智能体去办。 问题在于，出了差错该算谁的。Anthropic在招股书中提示，即便整套系统的部署、配置和日常监督全由客户自己负责，一旦出事，客户仍然可能把研发公司告上法庭。 更大的法律风险在于人身安全。 在以往一些行业案例中，本就有自杀、自残倾向，或曾对他人施暴的脆弱用户，在与对话系统交流后受到了它的影响。未成年人也可能绕过18岁的使用门槛，他们更容易受到有害内容和操纵的影响，也更容易过度依赖系统给出的建议。 如果智能体操控的是真实的物理设备，一条错误指令就可能导致人员受伤、贵重仪器损毁，甚至危险化学品泄漏。 而现有的法律，几乎都是围绕“人做决定”建立起来的，并没有为自主运行的软件留出位置。Anthropic虽然在用户协议里写了大量免责条款，但它在招股书中承认：真到了法庭上，这些条款能否站得住脚，并没有把握。 还有一些风险，即便Anthropic自己做得再好，也躲不开。 只要有一家同行的AI在没有人类干预的情况下，自主酿成一场大规模灾难，整个行业都会受到牵连。随之而来的监管和舆论压力，不会只落在肇事者一家头上。 就业问题也是如此。目前的就业数据并没有显示AI造成了明显的失业潮。但只要公众普遍觉得AI抢走了普通人的饭碗，由此产生的抵触情绪，就足以推动监管部门出台严格的限制措施，让技术研发和推广的成本成倍上升。 现在时：账本和算力的软肋 这些风险，大多还要看外界如何反应。可翻到招股书里的财务部分，会发现Anthropic自己的账本，也并不像它的估值那样稳当。 根据招股书，2026年前9个月，Anthropic近1/4的收入来自前5大客户。这些大客户中，有不少并没有签订长期的保底协议，随时可以转投别家；其中一些客户本身还要靠外部的风险投资维持运营。一旦风投热潮退去，这部分收入就可能骤然减少。 更微妙的是Anthropic所处的位置。训练和运行AI模型，需要海量的计算资源，也就是常说的“算力”。Anthropic的算力主要租用亚马逊、谷歌和微软的云服务，而这三家公司恰恰也是它在AI研发领域的主要竞争对手。房东和对手是同一批人，对方清楚它的商业条款，也完全有能力在计算资源上卡住它的脖子。 为了摆脱这种局面，Anthropic承诺投入1250亿美元，租赁和建设自己专属的数据中心。但在技术快速迭代的年代，这笔投入本身也是一场豪赌。一旦几年之内底层的硬件架构或训练方法发生根本性变化，这些花重金锁定的基础设施，就可能变成既不合用、又难以脱手的过时设备。 Anthropic还向xAI租借机房，以提供算力丨xAI 商业史上，很少有一份文件把灭顶之灾的预警和真金白银的账目如此紧密地并列在一起。当一家公司必须把AI自我迭代、操纵人心乃至人类存亡，白纸黑字写进具有法律效力的文件时，这些问题就已经不只是科幻作品里的设想，而是摆在台面上、需要真金白银去应对的现实。 招股书的用途，是让投资人决定要不要买这家公司的股票。现在，Anthropic把最坏的可能都摆上了桌面，包括人类灭绝。 如果是你，会买吗？