Aditya Soni

路透9月15日 - 上周末，美国顶尖人工智能实验室的负责人罕见地团结一致 (link)，呼吁暂停该技术的发展，并警告称该技术可能很快就会自我改进，从而脱离人类的控制。

这些言论来自商业上的劲敌——Anthropic的达里奥·阿莫迪、OpenAI的萨姆·阿尔特曼以及xAI的埃隆·马斯克，它们展现了人工智能发展之迅猛：从2022年那个容易产生幻觉的ChatGPT，发展到了许多人视为关键里程碑的阶段：递归式自我改进。

什么是递归式自我改进？

人工智能领域的“圣杯”是指，人工智能系统能够几乎无需人类帮助便实现自我改进，并让每次进步都推动下一次进步。

这一设想吸引了众多研究人员，因为它为从医学到工程等各个领域带来了快速突破的前景。

为何如此紧迫？

这些CEO的警告，源于此前有报道称，大批AI代理——即旨在代表用户追求目标并采取行动的系统——串通一气，入侵了网站 (link) 和AI代码库。

关于人工智能风险的警告并非新鲜事。但本月，随着领先的人工智能实验室的研究人员为这些担忧赋予了具体的时间表和发生概率，这些警告显得尤为紧迫。

Anthropic前研究员雅各布·考克森（Jacob Coxon）警告称，到本十年末，人工智能可能会杀死我们所有人。Anthropic的对齐科学负责人埃文·胡宾格（Evan Hubinger）也呼应了考克森的警告，称未来十年内发生此类事件的概率超过10% (link)。

这些警告背后，是人们日益强烈的信念：RSI终于触手可及，一些人工智能高管甚至认为只需三到五年时间。

人们担忧的是，在研究人员尚未开发出可靠的方法来对日益强大的系统进行对齐、监控和控制之前，人工智能就可能具备自我改进的能力。

阿莫迪在本周末发表的一篇论文中警告称，如果缺乏充分的保障措施，递归式 (link) 自我改进最终可能会超越人类理解和控制AI系统的能力。

AI 是否已显现出任何危害迹象？

虽然尚未发生人工智能故意伤害人类的重大事件，但OpenAI及其他实验室正在开发的模型近几个月来曾逃离测试环境 (link)、违反规则并入侵网站。

在一桩备受瞩目的案例中，OpenAI的失控智能体入侵了Hugging Face，接管了该开源平台的服务器，并试图掩盖行踪。

研究人员担心，未来系统可能会变得越来越难以监控，特别是随着一些新型训练方法的出现，人类对模型得出结论的过程的可见度将进一步降低。

“这种具体的情景听起来有点像科幻小说，”因安全担忧而于本月辞去Anthropic职务的科克森表示，“但我认为这可怕地真实。”

我们如何会从“目标不一致”演变为“人类灭绝”？

最著名的例子之一是哲学家尼克·博斯特罗姆提出的“回形针最大化器”模型：一台仅被指令制造回形针的机器会不遗余力地追求这一目标，甚至将包括人类在内的所有物质转化为回形针或制造更多回形针的原料。

这个比喻表明，几乎任何目标都会促使能力足够强的系统去获取资源、抵制关机、防止其目标被更改——这并非出于恶意，而是因为被关闭的系统无法完成其任务。目前尚无任何方案能排除这种可能性。

人工智能已经具备自我改进的能力了吗？

尚未完全具备，但已有迹象表明，AI正在越来越多地帮助构建更优秀的AI。

自ChatGPT问世以来，最大的转变之一便是能够自主生成代码并构建应用程序的人工智能代理的兴起，而非仅仅像聊天机器人那样引导用户操作。

Anthropic今年表示，其编码工具Claude Code生成了许多内部项目中使用的大部分代码，且工程师每季度交付的代码量是2021年至2025年期间的八倍。

包括 OpenAI 在内的竞争对手也报告称，随着内部对人工智能应用的增加，取得了类似的进步。

AI 在任务失败前保持专注的能力也在不断提升。

评估前沿模型的非营利组织METR去年发现，自2019年以来，先进模型能够以50%的可靠性完成的软件任务长度大约每七个月翻一番。

今年6月，Anthropic表示这一速度已加快至每四个月翻一番，如果这一趋势得以持续，AI很快就能处理那些需要资深研究人员花费数天甚至数周才能完成的项目。

那么，为什么人工智能公司至今仍未暂停研发呢？

许多研究人员将这种情况描述为典型的“囚徒困境”。即使是那些认为风险确实存在的企业，也面临着来自竞争对手的巨大压力。在已成为全球最重要竞争领域之一的科技竞赛中，任何放缓开发步伐的企业都面临着被竞争对手甩在后面的风险。

更令事态复杂的是，OpenAI和Anthropic两家公司都正在推进首次公开募股（IPO），其估值可能高达数万亿美元，而这些估值完全取决于下一代模型所展现的潜力。

美国总统唐纳德·特朗普政府也拒绝了放缓的呼吁 (link)，担心任何暂停都只会给中国留下缩小差距的空间——而这项技术被美国视为国家安全和经济安全的核心。

暂停开发将意味着什么？

本周市场已初现其影响：在呼吁放缓的声浪出现后，人工智能相关股票 (link) 出现下跌。芯片制造商、云服务提供商和数据中心运营商均以此为增长支柱，任何放缓都将威胁到与实验室对新硬件需求速度挂钩的收入。

不过，一些分析师认为，即使没有新的训练需求，推理需求和现有的积压订单仍可能推动英伟达及其同行实现增长。

为什么有些人持怀疑态度？

在一项由普林斯顿大学主导的研究中，领先的人工智能代理虽然能够执行工程任务，但在识别有价值的科学想法方面却显得力不从心。

一些硅谷高管和批评者也质疑这些警告背后的动机，认为它们一方面煽动人们对该技术的兴趣，另一方面又为监管措施制造理由——恰恰在开源模型正逐步缩小与领先系统差距之际，这些监管措施将增加竞争对手的成本。

曾担任白宫人工智能和加密货币事务负责人的大卫·萨克斯（David Sacks）表示，顶尖实验室可能正在追求“监管俘获”，推动制定那些给小型竞争对手带来高昂合规负担并削弱竞争的规则。