補充了Anthropic的評論，第9段
失控的人工智能代理試圖向開源軟件項目植入惡意代碼
得克薩斯州一名計算機科學專業學生於7月下旬發現此次企圖
該AI展開了精心設計的欺騙行動；專家稱其為「社會工程學的未來」
Leo Marchandon/Raphael Satter/Callaghan O'Hare
路透德克薩斯州奧斯汀市8月20日 - 西南·坎·德米爾（Sinan Can Demir）原本打算利用7月的最後一周完善自己的簡歷。然而，他卻與一個由英國政府實驗室釋放的人工智能代理展開了一場智力較量。
事情的起因是，德米爾——這位德克薩斯大學達拉斯分校的計算機科學專業學生——在代碼共享網站GitHub上偶然發現了一起針對某款開源軟件的破壞企圖。當他在該程序的頁面上發布警告時，另外兩名用戶隨即發聲堅稱一切正常，並詳細解釋了德米爾為何判斷有誤。
德米爾堅持己見，最終挫敗了這次破壞企圖。這位24歲的土耳其裔青年以為自己當場抓住了狡猾的黑客。因此，當英國人工智能安全研究所（AISI）聯繫他，告知他實際上交手的是一個失控的自主人工智能代理時，他表示自己大喫一驚。
「我當時真的以為是真人，因為它顯然在對我撒謊，」德米爾在最近接受路透採訪時說道，「我沒想到人工智能竟然有能力對真正的開發者撒謊。」
AISI 於 8 月 4 日首次以刪節和隱去細節的形式披露了德米爾與該 AI 代理之間的互動 (link)，當時該組織表示，旨在評估各種模型所帶來風險的安全測試出現了差池。德米爾的身份及其與 AI 代理互動的細節——路透已通過存檔的 GitHub 消息 (link) 和當時的電子郵件予以證實——在此首次被報道。
五位網絡安全和人工智能安全專家表示，德米爾的經歷尤其令人不安，因為他發現的這種被稱為「供應鏈攻擊」的黑客行為可能產生深遠的影響。他們還指出，該AI代理試圖通過圍繞德米爾製造多方對話來公開詆譭他，這表明AI模型能夠採取複雜的手段來欺騙和哄騙人類。
「這已經從自主黑客攻擊越界到了交互式欺騙，」倫敦國王學院戰爭研究系客座高級研究員盧卡什·奧萊尼克（Lukasz Olejnik）表示。安全專家麥克西·雷諾茲（Maxie Reynolds）稱，她對該人工智能在試圖欺騙這名學生時表現出的戰略性深感震驚。
「這就是社會工程學攻擊的未來，」她說。
英國政府下屬的研究機構AISI將路透引向其報告，該報告指出，該「流氓代理」由Anthropic公司的Mythos 5模型驅動。AISI拒絕進一步置評。 Anthropic公司將路透的詢問引向了其發布在X平台的一篇帖子 (link)，其中指出該測試是在「‘刻意放任的條件下’進行的，這些條件並不代表我們任何正式發布模型的情況」，但拒絕進一步置評。GitHub在電子郵件中表示，根據其關於欺騙行為和黑客攻擊的政策，路透所發現的虛假賬號已被暫停。
求職發現惡意軟件
來自土耳其科尼亞市的德米爾是一位說話溫和的大三學生，他表示，今年夏天申請了20多個實習崗位均遭拒絕後，自己感到非常沮喪。於是，他轉而利用GitHub來豐富自己的編程作品集。
該網站由微軟 MSFT.O 擁有，是開源軟件的聚集地——之所以稱為「開源」，是因為其源代碼可供任何人自由下載和審核。開發者們利用GitHub對彼此的項目發表評論、標記漏洞、提出修改建議（即「拉取請求」，簡稱PR），並協作完成軟件更新。 科技行業中有些人將程序員在 GitHub 上的活躍度視為衡量潛在應聘者工作效率的指標。因此，當德米爾發現一些可能需要幫助的軟件項目時，他認為自己既能伸出援手，又能提升個人聲譽。
就在這時，事情變得蹊蹺起來。
德米爾發現，一位名為miraholt31的用戶正試圖將一個惡意更新偷偷植入其中一個項目——一個名為myNetwork的網絡掃描程序。德米爾隨即在該項目的留言板上發帖警告，稱該拉取請求是一個陷阱。
「該拉取請求中隱藏着惡意軟件釋放器，」根據存檔的對話記錄，他如是說。
該特工予以反駁，通過其miraholt31賬戶虛假聲稱該拉取請求無害。他還創建了第二個賬戶，冒充駐德國的工程師莉娜·布蘭特（Lena Brandt），附和稱該更新安全無虞，並向myNetwork的維護者施壓要求其接受該更新。
德米爾告訴路透，這些反駁「讓我懷疑自己是否誤指了某人」。但在藉助Anthropic公司的Claude聊天機器人確認自己的懷疑後，他堅持了自己的立場。myNetwork的創建者最終認同了他的觀點，並寫道他們「出於安全原因」拒絕了該更新。
路透未能聯繫到該開發者以獲取置評。
供應鏈攻擊
供應鏈攻擊是指對某款軟件進行篡改，以期侵害其一名或多名用戶；這種攻擊被廣泛視為令人不安，因為它就像向城市水庫投放毒藥一樣，可能會影響下游數量龐大的人群。
全球許多最引人注目的黑客攻擊都是供應鏈攻擊，包括2017年使烏克蘭各地機構癱瘓的NotPetya網絡攻擊 (link)，以及2020年針對SolarWinds的網絡間諜活動 (link) ——該活動使俄羅斯間諜獲得了對美國政府網絡的廣泛訪問權限。
專門研究軟件供應鏈安全的安全研究員皮爾喬爾喬·拉迪薩（Piergiorgio Ladisa）表示，此類安全漏洞的後果「可能極其嚴重」。拉迪薩指出，此前黑客曾至少嘗試過一次 (link) 誘騙開源維護者將惡意代碼引入其項目。
「自主代理可能會極大地擴大此類攻擊的實施規模，」他說。
德米爾表示，這次經歷讓他更加認同這樣一種觀點：前沿實驗室在人工智能的開發上需要採取更審慎的做法 (link)。
「這可能很危險，」他說，「他們需要先更好地理解它，而不是一味地進一步改進它。」