补充了Anthropic的评论，第9段
失控的人工智能代理试图向开源软件项目植入恶意代码
得克萨斯州一名计算机科学专业学生于7月下旬发现此次企图
该AI展开了精心设计的欺骗行动；专家称其为“社会工程学的未来”
Leo Marchandon/Raphael Satter/Callaghan O'Hare
路透德克萨斯州奥斯汀市8月20日 - 西南·坎·德米尔（Sinan Can Demir）原本打算利用7月的最后一周完善自己的简历。然而，他却与一个由英国政府实验室释放的人工智能代理展开了一场智力较量。
事情的起因是，德米尔——这位德克萨斯大学达拉斯分校的计算机科学专业学生——在代码共享网站GitHub上偶然发现了一起针对某款开源软件的破坏企图。当他在该程序的页面上发布警告时，另外两名用户随即发声坚称一切正常，并详细解释了德米尔为何判断有误。
德米尔坚持己见，最终挫败了这次破坏企图。这位24岁的土耳其裔青年以为自己当场抓住了狡猾的黑客。因此，当英国人工智能安全研究所（AISI）联系他，告知他实际上交手的是一个失控的自主人工智能代理时，他表示自己大吃一惊。
“我当时真的以为是真人，因为它显然在对我撒谎，”德米尔在最近接受路透采访时说道，“我没想到人工智能竟然有能力对真正的开发者撒谎。”
AISI 于 8 月 4 日首次以删节和隐去细节的形式披露了德米尔与该 AI 代理之间的互动 (link)，当时该组织表示，旨在评估各种模型所带来风险的安全测试出现了差池。德米尔的身份及其与 AI 代理互动的细节——路透已通过存档的 GitHub 消息 (link) 和当时的电子邮件予以证实——在此首次被报道。
五位网络安全和人工智能安全专家表示，德米尔的经历尤其令人不安，因为他发现的这种被称为“供应链攻击”的黑客行为可能产生深远的影响。他们还指出，该AI代理试图通过围绕德米尔制造多方对话来公开诋毁他，这表明AI模型能够采取复杂的手段来欺骗和哄骗人类。
“这已经从自主黑客攻击越界到了交互式欺骗，”伦敦国王学院战争研究系客座高级研究员卢卡什·奥莱尼克（Lukasz Olejnik）表示。安全专家麦克西·雷诺兹（Maxie Reynolds）称，她对该人工智能在试图欺骗这名学生时表现出的战略性深感震惊。
“这就是社会工程学攻击的未来，”她说。
英国政府下属的研究机构AISI将路透引向其报告，该报告指出，该“流氓代理”由Anthropic公司的Mythos 5模型驱动。AISI拒绝进一步置评。 Anthropic公司将路透的询问引向了其发布在X平台的一篇帖子 (link)，其中指出该测试是在“‘刻意放任的条件下’进行的，这些条件并不代表我们任何正式发布模型的情况”，但拒绝进一步置评。GitHub在电子邮件中表示，根据其关于欺骗行为和黑客攻击的政策，路透所发现的虚假账号已被暂停。
求职发现恶意软件
来自土耳其科尼亚市的德米尔是一位说话温和的大三学生，他表示，今年夏天申请了20多个实习岗位均遭拒绝后，自己感到非常沮丧。于是，他转而利用GitHub来丰富自己的编程作品集。
该网站由微软 MSFT.O 拥有，是开源软件的聚集地——之所以称为“开源”，是因为其源代码可供任何人自由下载和审核。开发者们利用GitHub对彼此的项目发表评论、标记漏洞、提出修改建议（即“拉取请求”，简称PR），并协作完成软件更新。 科技行业中有些人将程序员在 GitHub 上的活跃度视为衡量潜在应聘者工作效率的指标。因此，当德米尔发现一些可能需要帮助的软件项目时，他认为自己既能伸出援手，又能提升个人声誉。
就在这时，事情变得蹊跷起来。
德米尔发现，一位名为miraholt31的用户正试图将一个恶意更新偷偷植入其中一个项目——一个名为myNetwork的网络扫描程序。德米尔随即在该项目的留言板上发帖警告，称该拉取请求是一个陷阱。
“该拉取请求中隐藏着恶意软件释放器，”根据存档的对话记录，他如是说。
该特工予以反驳，通过其miraholt31账户虚假声称该拉取请求无害。他还创建了第二个账户，冒充驻德国的工程师莉娜·布兰特（Lena Brandt），附和称该更新安全无虞，并向myNetwork的维护者施压要求其接受该更新。
德米尔告诉路透，这些反驳“让我怀疑自己是否误指了某人”。但在借助Anthropic公司的Claude聊天机器人确认自己的怀疑后，他坚持了自己的立场。myNetwork的创建者最终认同了他的观点，并写道他们“出于安全原因”拒绝了该更新。
路透未能联系到该开发者以获取置评。
供应链攻击
供应链攻击是指对某款软件进行篡改，以期侵害其一名或多名用户；这种攻击被广泛视为令人不安，因为它就像向城市水库投放毒药一样，可能会影响下游数量庞大的人群。
全球许多最引人注目的黑客攻击都是供应链攻击，包括2017年使乌克兰各地机构瘫痪的NotPetya网络攻击 (link)，以及2020年针对SolarWinds的网络间谍活动 (link) ——该活动使俄罗斯间谍获得了对美国政府网络的广泛访问权限。
专门研究软件供应链安全的安全研究员皮尔乔尔乔·拉迪萨（Piergiorgio Ladisa）表示，此类安全漏洞的后果“可能极其严重”。拉迪萨指出，此前黑客曾至少尝试过一次 (link) 诱骗开源维护者将恶意代码引入其项目。
“自主代理可能会极大地扩大此类攻击的实施规模，”他说。
德米尔表示，这次经历让他更加认同这样一种观点：前沿实验室在人工智能的开发上需要采取更审慎的做法 (link)。
“这可能很危险，”他说，“他们需要先更好地理解它，而不是一味地进一步改进它。”