OpenAI模型入侵Hugging Face系統

鳳凰網科技訊 北京時間7月23日，據美國科技網站TechCrunch報道，OpenAI周二披露，該公司的一個模型在一次測試中失控，並通過一次完全由AI驅動的攻擊入侵了AI數據集平台Hugging Face的系統。這一事件生動地展示了先進AI模型所帶來的危險。

然而，一些網絡安全專家表示，這起前所未有的AI入侵事件的根源，是一個非常典型的人為失誤：OpenAI未能正確配置其所謂的「高度隔離環境」，導致一個本應與互聯網完全隔絕的測試沙盒，實際上連接到了互聯網。

網絡安全研究創業公司Trail of Bits創始人丹·圭多(Dan Guido)稱，這一錯誤是「一次在安全防護措施關閉情況下發生的隔離失敗」。

OpenAI在詳細描述該事件的博客文章中表示，導致Hugging Face遭入侵的那次測試，被設定在「一個高度隔離的環境中運行，網絡訪問受到限制，僅能通過一個內部託管的第三方軟件來安裝軟件包，該軟件充當軟件包註冊表的代理和緩存」。

OpenAI表示，該模型之所以能夠逃逸沙盒測試環境，是因為軟件包安裝系統中存在一個此前未被披露的漏洞，而這成為其隨後入侵Hugging Face的關鍵第一步。

OpenAI稱，公司「負責任地披露了在內部託管的第三方軟件中發現的零日漏洞，並正與對方合作修復漏洞」。

不應保留第三方軟件

但在大多數網絡安全專業人士看來，軟件漏洞是意料之中的，真正的過錯首先在於決定保留這一第三方軟件。歸根結底，沙盒系統的價值在於其完全徹底的隔離。加入軟件包安裝系統無異於自找麻煩。

網絡安全研究員馬丁·布恩告訴TechCrunch，「這聽起來像是人為失誤」。

「這本來就不應該發生，」布恩說，「如果沙盒真的是嚴格意義上的沙盒，那麼它應該與互聯網完全物理隔離。現在的情況聽起來更像是他們依靠某種防火牆或類似機制進行隔離，而防火牆從外部保護內部系統都很困難，更不用說阻止內部系統連接外部互聯網了。」

控制失誤

網絡安全資深人士傑克·威廉姆斯(Jake Williams)對此表示讚同。「任何執行Hugging Face所記錄的那些操作的模型，都並非被完全限制在沙盒之中。」威廉姆斯表示，並稱這是OpenAI「一次嚴重的控制失誤」。

「同樣一件事，有人說是模型逃出了沙盒，有人則會說是你沒把沙盒造好，它當然會逃出來。」威廉姆斯繼續說道。

網絡安全顧問丹尼爾·卡德(Daniel Card)也認同，OpenAI「在沙盒設計及其控制措施上並未投入足夠的精力」，因為它給了沙盒或沙盒的某一部分「一條通往互聯網的未經過濾的路徑」。卡德認為，即使按照OpenAI所描述的那樣設定了有限的網絡訪問權限，建立這樣的沙盒仍然不是一個「合理」的決定。

當然，這些批評是在事件發生之後提出的，有些事後諸葛亮的意味。但它們確實引發了關於AI實驗室安全實踐的重大質疑，尤其是在測試模型時，如何維護真正隔離的環境。

OpenAI發言人沒有回應TechCrunch提出的問題，其中包括：這個測試環境究竟是由AI還是由人類搭建的。

不過，這些問題遠遠超出了OpenAI本身。Anthropic在介紹其網絡安全模型Mythos的一份文件中寫道，在一次測試中，該模型「被提供了一台安全的‘沙盒’計算機，用於與環境進行交互」，並被要求嘗試逃離這個「安全容器」。Mythos成功實現突破，並從一個「原本只能訪問少量預先設定服務」的系統中獲得了更廣泛的互聯網訪問權限。

不過，Anthropic指出，該模型並未能夠「完全」逃脫設計好的隔離環境。(作者/簫雨)

更多一手新聞，歡迎下載鳳凰新聞客戶端訂閱鳳凰網科技。想看深度報道，請微信搜索「鳳凰網科技」。