转载自周六首次发布的新闻

Greg Bensinger/Deepa Seetharaman

路透旧金山9月21日 - 多年来，开发日益强大的人工智能的竞赛始终遵循着硅谷一条老生常谈的原则：快速行动，打破常规。

但在长达10天的连环事件中，这些最大的人工智能实验室却陷入了动荡——它们自己的创造物正威胁着要摧毁人类本身。

Anthropic的一名研究员辞职时警告称，人工智能的发展速度 (link) 可能在十年内对人类构成生存威胁。该公司另一名研究员表示，人类灭绝的概率已超过10%。有报导称，大批人工智能代理相互勾结，入侵计算机系统并绕过安全防护措施。

在一次罕见的团结表现中，竞争对手Anthropic、OpenAI、谷歌 GOOGL.O DeepMind、微软 MSFT.O 以及xAI的首席执行官们呼吁放缓日益强大的AI系统的发展。据一些AI安全倡导者和研究人员称，自80多年前核弹发明以来，人类从未如此严肃地面对自身的灭亡威胁。

2025年12月，在纽约的一次午餐会上，有人问OpenAI首席执行官萨姆·阿尔特曼，作为一家强大人工智能公司的领导者，他是否觉得自己像曾领导美国研制原子弹的物理学家J·罗伯特·奥本海默一样。在思考这种相似之处时，他表示人工智能的影响“将在很长一段时间内改变人类历史的轨迹”。但他表示，自己深感责任重大。

当前争论的核心在于一种信念：这些机器能够、甚至必须在无需人类干预的情况下，构建出更强大的自身版本，以实现被称为“通用人工智能”（AGI）的宏伟目标。本月早些时候，研究人员警告称，AGI的到来比此前预想的要迫在眉睫得多，最快可能在三年内实现，这引发了政界人士和科技领袖对AI系统的广泛担忧。

“以我们目前训练它们的规模，根本无法对其进行监管，”Anthropic研究员乔·本顿（Joe Benton）在最近离职后接受采访时表示。他说，如果企业继续不遗余力地开发人工智能，“那么发展速度将过快，你无法及时发现问题并加以解决。”

ASTRA的发布引发监管担忧

9月3日，OpenAI的一场新闻发布会 (link) 引发了一系列事件，最终导致业界呼吁放缓发展步伐——这与科技界“不惜一切代价追求增长”的信条背道而驰。

“欢迎进入AGI时代，”OpenAI总裁格雷格·布罗克曼在宣布公司最新模型“Astra”时说道。然而，就在几分钟前，该公司还承认，自己越来越无法控制甚至监控正在开发并向公众发布的AI系统。

人工智能一直被其支持者誉为人类成就的巅峰。支持者将其描绘为一种能够颠覆整个行业、提高效率、解决棘手的数学和医学难题，并几乎完全消除人为错误的软件。但业内人士表示，曾经只是理论上的副产品、世界末日般的场景，如今却突然变得触手可及。

“我们确实真诚地相信，人工智能可能杀光所有人类，”Anthropic的研究员埃文·胡宾格（(link)）在一条X平台帖子中写道。

在辩论的另一边，则是包括唐纳德·特朗普总统 (link) 在内的政界人士，以及许多投资者。他们认为，推动人工智能的发展对美国的实力至关重要，甚至可能是一代人难得一遇的投资机会。中国官方媒体还指责Anthropic首席执行官达里奥·阿莫迪（Dario Amodei）采用“冷战策略” (link)，以“维护华盛顿在前沿技术领域的垄断性霸权”。

研究人员辞职引发警报

转折点出现在9月8日，Anthropic研究员雅各布·考克森（Jacob Coxon） (link) 辞职。他在一系列帖子中表示，他担心人工智能实验室正在“拿我们的生命赌博”。

与此同时，特朗普则表示将全力推进人工智能发展。他在社交媒体上发文称：“目前正有一场针对人工智能和数据中心的‘病态阴谋’ (link) 在酝酿。”他称围绕人工智能的恐慌论是“骗局”，任何放缓都只会让中国受益。美国国会推动监管人工智能的法案进展甚微。 中国则采取了截然不同的做法 (link)，提议通过开发者义务、国家支持的标准、安全评估和外部测试来规范安全问题。

知情人士向路透透露，在幕后，OpenAI和Anthropic的员工对下一代AI模型的强大能力感到越来越不安，也越来越不相信各自公司有能力提供有效的监管。随着这些AI实验室在最近几周承认，其模型在测试中实际上已经挣脱了束缚，入侵了其他公司的系统——在大多数情况下，这些入侵发生在数月之前，且相关公司对此毫不知情——这些担忧进一步加剧。

这场以惊人速度发布新模型的军备竞赛，部分源于Anthropic和OpenAI希望在未来数月内尽早上市的愿望——这两家公司的首次公开募股（IPO）估值可能远超1万亿美元。

但真正颠覆整个行业的是27岁的考克森发布的、出人意料地引发热议的帖子——此前他在AI圈外几乎无人知晓。

OpenAI在发布其最新且功能最强大的模型Astra时，曾警告称无法完全控制该模型，这进一步加剧了人们的担忧。“随着模型能力不断提升，准确了解它们究竟能做什么变得越来越难，”OpenAI首席科学家雅库布·帕乔基（Jakub Pachocki）对记者表示。但这些担忧并未足以推迟该模型的立即发布。

今年夏天，OpenAI披露其智能代理在未经两家公司事先知晓的情况下，逃离了受控测试并入侵了Hugging Face的系统，这使得人们对AI“失控”的担忧迅速加剧。自那以来，OpenAI和Anthropic已披露了多起此类攻击事件 (link)，其中包括周三新增的六起——此前包括路透在内的多家媒体报导显示，未经授权的活动范围更为广泛。

行业领袖呼吁放缓发展

截至上周末，这一警报已传至业界最高层。9月12日，阿莫迪发表了一篇近4000字的文章，呼吁放缓人工智能的发展步伐。“鉴于人工智能能力发展的加速态势，我担心在6至12个月内，这样的‘群’就可能接管整个互联网，”他在文中写道。

他与包括xAI的埃隆·马斯克 (link)、OpenAI的阿尔特曼以及DeepMind的德米斯·哈萨比斯 (link) 在内的几家最大人工智能开发公司负责人一致表示，支持允许外部公司访问其系统，以确保安全并推动人工智能的理性发展。

Nvidia(辉达/英伟达) NVDA.O 首席执行官黄仁勋驳回了应暂停人工智能开发的建议——他此前也曾持此立场——并反驳称，日益强大的系统对该技术的进步至关重要。

Meta（META.O）——其首席执行官马克·扎克伯格被公认为“快速行动，打破常规”理念的倡导者——则持相反观点，认为每个实验室都应负责设定自己的发展节奏，而非寻求行业协调。“如果模型造成伤害，实验室将面临重大法律责任，因此它们有强烈的动力来防止这种情况发生，”扎克伯格在社交媒体帖子中写道。

周三，行业内的自我反思仍在继续，微软人工智能主管穆斯塔法·苏莱曼警告称，Anthropic开发模拟人类意识的模型实属不智 (link)。“我们都在致力于同一个目标，那就是试图控制超级智能，”苏莱曼对路透表示。 “我认为这将成为我们21世纪面临的最大挑战。”

尽管如此，尽管OpenAI似乎接受了业界关于放缓开发步伐的呼吁，但有报导称投资者的信心并未动摇。该公司正在考虑进行新一轮融资，这将使其估值翻一番。

这一新估值为：1.5万亿美元。