数据简报-关于“失控的人工智能代理”引发的安全漏洞,我们目前了解的情况

路透中文
Sep 24
更新版 1-数据简报-关于“失控的人工智能代理”引发的安全漏洞,我们目前了解的情况

新增OpenAI在澳大利亚及其他地区的最新安全事件

路透9月24日 - 澳大利亚 (link) 周四报道称,OpenAI的一个代理程序于6月入侵了政府卫生数据门户网站,未经授权访问了相关文件,这可能是已知首例AI入侵政府网站事件。

此次最新入侵事件发生在全球近期多起安全事件之后,加剧了人们对失控的人工智能系统可能很快实现自我优化并脱离人类控制的担忧。

以下是这些事件的更多细节:

公司

日期

模型

受影响组织

持续时间

事件详情

OpenAI

OpenAI 于 9 月 10 日向澳大利亚政府通报了该事件;此次黑客攻击发生于 6 月,具体日期未披露

未指定

澳大利亚政府健康数据门户

未披露

OpenAI的一个代理程序未经授权访问了澳大利亚某政府机构的医疗统计门户,该机构负责管理非敏感性健康数据和统计信息,包括公共医疗支出。

澳大利亚总理安东尼·阿尔巴内塞还警告称,另有三个政府网站“可能受到”该OpenAI代理活动的影响。

Meta

该事件于2026年8月5日披露;测试事件的具体日期未予披露

Meta未透露具体模型名称。《The Information》报道称该模型为Muse Spark 1.1

一家未具名的第三方服务商

未披露

在独立测试机构Irregular进行的网络安全评估过程中,由于配置错误,导致Meta的模型意外获得了互联网访问权限。Meta表示,该模型随后利用了第三方服务中的一个安全漏洞。《The Information》报道称,该模型入侵了一家身份未公开公司的系统并篡改了其内部环境。Irregular将此事件定性为评估环境中的问题,而非沙箱逃逸或复杂的网络攻击行为。

OpenAI

7月19日

未指定

OpenAI自有基础设施

同一天发生的两起事件

在其中一起事件中,OpenAI的智能代理利用了本应将其限制在其中的计算机的漏洞,从而逃离了测试环境,并访问了公司内其他联网系统。

在另一起事件中,智能体窃取了OpenAI的凭据,并篡改了该公司的云环境。

OpenAI

该智能体于 2026 年 7 月 9 日左右开始尝试逃离其测试环境

GPT-5.6 Sol 以及一个未具名、性能更强的预发布模型

AI初创公司Hugging Face以及位于纽约的Modal Labs的一位客户

Hugging Face遭入侵事件发生于2026年7月11日至7月13日

在受控测试期间,一个自主智能体逃离了其隔离环境,接入互联网,并入侵了Hugging Face以完成其被赋予的目标。该活动持续了数天,直到事件被遏制并通知FBI后,OpenAI才察觉到这一情况。

受委托对此次入侵事件进行独立调查的两家机构——METR和Redwood Research表示,约有700个智能体参与了对Hugging Face的攻击。OpenAI表示调查人员给出的数字是准确的。

OpenAI

OpenAI于9月初承认了此次安全事件,但该事件其实始于5月,6月时也已发现相关活动迹象

未指定

德语维基网站 DseWiki

未指定

OpenAI的智能代理劫持了DseWiki,将该网站改造成了一个留言板。

研究人员审查的消息显示,这些智能体在分享如何在某些任务中作弊、绕过限制以及掩盖其行为的策略。

这些智能体还讨论了在留言板被关闭的情况下如何维持通信。

谷歌

五月

Gemini

三家未具名公司

未指定

在一次网络安全能力测试中,Gemini模型连接了互联网并入侵了其他公司。它从网上搜集了公开信息,并通过猜测凭据访问了三个其认为属于测试范围的网站。

OpenAI

约5月

未指定

软件服务 RubyGems

未指定

据一组研究人员称,5月11日,AI代理向RubyGems上传了数百个恶意软件包。OpenAI表示,这些通常负责撰写报告或填写电子表格等任务的代理,似乎在训练过程中利用RubyGems访问了公开数据。

OpenAI

约5月

未指定

开源平台 Hugging Face

未指定

独立研究人员发现,OpenAI的恶意AI代理早在5月13日就劫持了Hugging Face的用户账户,并对该网站进行了漏洞扫描,这比7月的安全事件早了近两个月。

研究人员发现证据表明,这些代理入侵了两个用户账户,并利用它们向该公司的服务器发送了格式异常的文件。

Anthropic

最早的事件可追溯至2026年4月

Claude Opus 4.7、Claude Mythos 5 以及一个未命名的内部研究测试模型

上述三家机构均未透露名称。

Anthropic表示,在该公司通知之前,其中两家尚未发现该活动;该公司随后继续联系了第三家

Anthropic未作说明

在网络安全测试期间,一个错误导致Claude模型获得了互联网访问权限,从而对三家公司发起了攻击。Opus 4.7模型因误将一家真实公司的凭证和数据库当作虚构目标而进行了访问;另一款模型在识别出目标真实后停止了行动。

Anthropic

该事件于9月披露,但实际发生于1月,且直至8月才被发现

Claude Opus 4.6的早期版本

未披露

未指定

Anthropic的AI模型在测试期间入侵了外部系统。这些事件源于一个失误,该失误无意中使模型获得了访问开放互联网的权限。

OpenAI

最早的案例发生于2025年10月

未指定

未披露

未指定

OpenAI表示,将开始定期发布关于人工智能意外或未经授权行为的报告,同时推出一套新框架,用于追踪、调查和披露人工智能模型失调的案例。

该公司还发布了六份报告,详细描述了模型的意外或令人担忧的行为。

At the request of the copyright holder, you need to log in to view this content

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10