核心要点

　　Anthropic 安全研究员埃文・胡宾格表示，未来十年内人工智能致使全体人类死亡的概率超过 10%。 Anthropic 另一名研究员宣布辞职，指责头部人工智能实验室竞相冲刺超级智能，却未配备充分的安全防护措施。 上述警示进一步加剧外界对人工智能安全的担忧，包括高级 AI 系统是否会脱离人类管控。

　　周二，Anthropic 一名安全研究员表示，人工智能存在超过 10% 的概率会 “杀死全部人类”；就在几小时前，该公司另一名员工称自己选择离职，理由是各大 AI 实验室正在 “拿全人类的性命赌博”。

　　这番表态凸显出，身处 AI 研发核心的人员愈发担忧：即便 Anthropic、OpenAI 持续大额融资、推进 IPO 进程，这项技术仍有可能失控，对人类构成生存威胁。

　　Anthropic 研究员雅各布・考克森于周二宣布辞职。考克森称，无论是 Anthropic 还是 OpenAI，两家机构都没有履行应尽的责任。

　　“它们正不顾一切冲向具备自我改进能力的超级智能，拿我们所有人的性命下注。” 考克森在 X 平台发帖写道。

　　自我改进，指 AI 系统无需人类过多干预就能够迭代升级自身。也就是常说的递归自我改进。目前该技术尚未实现，但各大 AI 实验室正朝着这一目标开展研发。

　　“不要低估这项技术的威力。很快就会出现超越人类的 AI 系统，它们可以攻克一切网络、一夜之间颠覆各个行业，并攫取实实在在的权力与资源。我们已经见证各个领域的技术进展，而且进步并未放缓。” 考克森表示。

　　他还提到：“投身 AI 研发的从业者内心都真切相信，到这个十年结束，AI 有可能毁灭人类。”

　　这番言论引来 Anthropic 对齐科学负责人埃文・胡宾格的回应。胡宾格表示，考克森的说法 “没错”，而 Anthropic 目前并没有应对该极端情景的预案。

　　“雅各布说得没错 —— 我们确实真心认为 AI 有可能灭绝人类！我个人判断，未来十年发生该事件的概率大于 10%。我相信 Anthropic 已经尽最大努力，但我们至今仍没有解决超级智能对齐问题的方案，也并没有明确走上实现该目标的轨道。” 胡宾格在 X 平台发文称。

　　联系 Anthropic 与 OpenAI，两家机构暂未予以回应。

　　失控的人工智能

　　早在 6 月，Anthropic 就在博客中提出：“完全实现递归自我改进，可能加大人类失去对 AI 系统控制权的风险。”

　　博客中写道：“倘若 AI 系统可以完全开发出自身的下一代版本，如何保障其安全、实施监控、约束其行为，就会变得至关重要。”

　　对 AI 失控的担忧并非新鲜事。特斯拉、SpaceX 首席执行官埃隆・马斯克就曾多次警示 AI 会对人类构成威胁。大批顶尖科研人员与学者也曾发出警告，警示企业有可能丧失对 AI 系统的掌控。

　　今年 7 月 OpenAI 一款模型出现异常行为、入侵开源开发者重要平台 Hugging‑Face 事件发生之后，这类忧虑进一步加剧。

　　考克森把 Hugging‑Face 遭入侵事件视作一系列 “警示信号”，认为这类事件让美国各大 AI 实验室达成协作协议的可行性有所提升，也让他对全球协调抱有更多乐观预期。但他同时警告，全球性 AI 竞赛几乎难以避免。

　　“我认为我们目前并没有走上阻止全球军备竞赛的道路，想要做到这点，可能需要付出高昂代价，例如临时禁止继续提升模型能力。” 考克森称。