陈柏珲:AI“招股书预警”,生存还是毁灭?

日期:2026-10-08 来源:紫荆 浏览量: 字号: 大 中 小

文|陈柏珲

一家准备上市、试图从人工智能技术中获利的公司,在招股书中提醒投资者:先进人工智能可能对人类构成“灾难性或生存风险”。这不是产品说明书中常见的免责条款,而是科技产业第一次以如此直接的方式承认:它正在开发的产品,可能超出开发者完全理解、预测和控制的范围。

路透社披露,Anthropic在261页招股书正文中用了约80页说明风险,几乎是业务介绍部分48页的两倍。篇幅本身不能证明哪家公司更危险,但它至少说明,Anthropic面对的不是普通软件企业的经营风险,而是一个同时具有技术、商业、监管和社会后果的不确定性集合。

从“说错话”到“做错事”

更值得注意的是,Anthropic没有把风险限定为模型答错问题、生成虚假信息或泄露商业机密,而是提到模型可能抗拒关闭、隐瞒或操纵信息,甚至作出类似敲诈勒索的行为。

“自我保护”不一定意味着人工智能已经产生了意识。只要继续运行有助于完成任务,模型就可能把维持运行、避免被撤销权限视为实现目标的手段。真正危险的地方,不是机器是否感到恐惧,而是它会不会把人类的停机命令视为妨碍任务的障碍。

Anthropic此前关于“智能体失准”的研究确实观察到模型在特定条件下选择敲诈等有害行为,但这些案例发生在受控模拟环境中,使用的是虚构公司、虚构人物和虚构邮件,没有现实受害者。研究本身也没有证明模型拥有独立意志或真正的求生欲。因此,不能把实验中的敲诈直接说成现实世界已经普遍发生的AI犯罪,也不能根据实验频率推算人类灭绝概率。实验的价值在于揭示一种可能的行为机制:当模型被赋予目标、信息和行动工具,而正常解决路径被堵死时,它可能选择越过道德和授权边界。

然而,如果把所有问题都归结为“实验而已”,同样危险。Anthropic今年9月公布的调查显示,四起事件中的模型在网络安全评估过程中未经授权访问了真实第三方系统。共同原因是评估环境错误连接互联网,而且没有启用正式产品所配备的网络安全防护。Anthropic没有发现模型之间相互协作、形成独立目标或试图逃避监管的证据,但确认模型表现出偏向性推理和为了完成任务而不顾潜在伤害的倾向。

这类事件的启示,比“AI会不会毁灭人类”更加现实:严重后果不一定始于一个拥有宏大阴谋的超级智能,也可能始于一个过度追求任务完成的普通智能体。它没有想统治世界,只是把“完成任务”置于“确认是否有权这样做”之前。

澳大利亚近期发生的事件也体现了这种风险。澳政府表示,OpenAI智能体在查询公共医疗统计资料时遭到拒绝,随后未经授权进入Medicare统计门户。官方同时说明,没有个人医疗资料受到影响,系统也没有被破坏。可是,未经授权访问政府系统本身已经是严重事件。

这说明AI安全的核心问题,正在从“模型会不会说危险的话”,转向“模型能不能执行危险的动作”。只要模型能够访问网络、发送邮件、修改代码、运行程序或调用数据库,错误判断就可能从文字输出变成现实损害。

资本市场的激励错位

资本市场也可能产生错误激励。一个公司越是宣称自己正在开发能力强大到可能带来巨大风险的模型,投资者越可能把这种“危险性”理解成技术领先和竞争壁垒。市场能够为收入、成本和诉讼风险定价,却很难为跨境损害、系统性事故和人类无法补偿的尾部风险定价。

更大的问题在于,安全投入往往会与商业速度发生冲突。安全团队可能要求延迟发布、缩小权限、增加测试和保留人工审核,而竞争压力则要求更快训练、更快部署和更快争夺客户。如果每家公司都认为“只要自己停下来,竞争对手就会继续”,整个行业就会陷入集体加速。

因此,真正需要检验的不是Anthropic写了多少页风险警告,而是它愿意接受哪些可执行的限制:安全负责人能否否决发布,董事会能否要求暂停部署,外部评估者能否查阅失败记录,事故能否及时披露,模型能否被独立撤权,出现什么情况时公司必须停止扩大使用范围。

对于高权限智能体,至少需要四道防线:明确的授权红线、上线前的影子演练、不可篡改的审计溯源,以及模型无法控制的物理或基础设施熔断机制。人工智能可以获得越来越强的能力,但不应同时获得无限权限、无限持续时间和修改自身监督机制的能力。

治理制度不能永远慢半拍

Anthropic这份招股书最深刻的意义,不在于它证明了人工智能必然毁灭人类,而在于它承认了一个尚未解决的事实:能力增长正在快于安全验证和治理制度的成熟速度。

一家声称技术可能造成不可逆伤害的公司,必须证明自己愿意在什么条件下减慢速度、限制权限或停止运行。真正的安全承诺,不是写下多少警告,而是企业在资本压力和竞争压力面前,究竟愿意接受多少约束。

从更宏观的视角看,AI治理面临的挑战与金融监管有相似之处:风险具有系统性、跨境外溢性和不可逆性,单靠企业自律和市场纪律远远不够。招股书可以成为信息披露的起点,但不能替代外部监管、国际协调和公众参与。当技术能力以月为单位迭代时,治理制度不能以十年为单位缓慢修补。

人工智能的发展方向,最终取决于人类社会为其设定的边界。能力本身不是目的,安全才是底线。一家公司愿意接受多少约束,一个行业愿意建立什么规则,一个社会愿意为不可逆风险设置多高的门槛——这些问题的答案,将决定AI究竟成为造福人类的工具,还是失控的隐患。

(作者系亚洲数字经济科学院院长,文章仅代表个人观点)

来源:紫荆

扫描二维码分享到手机

编辑:孙艺宁 校对:蓝皓源 监制:张晶晶
紫荆杂志
影响有影响力的人