AJ Vicens

路透1月29日 - 研究人員周四表示，黑客和其他犯罪分子可以在主要人工智能平台的防護和限制之外，輕易地操控運行開源大型語言模型的計算機，從而產生安全風險和漏洞。

研究人員說，黑客可以瞄準運行大型語言模型的計算機，指揮它們執行垃圾郵件操作、創建網絡釣魚內容或虛假信息宣傳活動，從而規避平台安全協議。

這項研究由網絡安全公司SentinelOne S.N和Censys聯合開展，歷時293天，研究成果獨家提供給路透，為人們了解數千個開源LLM部署的潛在非法用例的規模提供了一個新的窗口。研究人員說，這些情況包括黑客攻擊、仇恨言論和騷擾、暴力或血腥內容、個人數據盜竊、詐騙或欺詐，在某些情況下還包括兒童性虐待材料。

研究人員稱，雖然存在數千種開源 LLM 變體，但在互聯網可訪問主機上的 LLM 中，有很大一部分是 Meta 的 META.O Llama、谷歌 DeepMind 的 Gemma 和其他公司的變體。雖然一些開源模型包含防護欄，但研究人員發現了數百個防護欄被明確移除的實例。

SentinelOne 公司情報與安全研究執行總監胡安-安德烈斯-格雷羅-薩德（Juan Andres Guerrero-Saade）說："人工智能行業關於安全控制的討論 "忽略了這種顯然被用於各種不同用途的剩餘能力，其中有些是合法的，有些顯然是犯罪的。"格雷羅-薩德將這種情況比作一座 "冰山"，整個行業和開源社區都沒有得到充分認識到。

這項研究分析了通過 Ollama 部署的開源 LLM 的公開部署情況，Ollama 是一個允許人們和組織運行自己版本的各種大型語言模型的工具。

在他們觀察到的大約四分之一的 LLM 中，研究人員能夠看到系統提示，即決定模型行為的指令。在這些提示中，他們發現有 7.5% 可能會導致有害活動。

研究人員觀察到的主機中，約有 30% 在中國運營，約有 20% 在美國運營。

全球人工智能治理中心（Global Center on AI Governance）的創始人兼首席執行官瑞秋-亞當斯（Rachel Adams）在一封電子郵件中說，一旦開放模型被發布，接下來發生的事情的責任將由整個生態系統共同承擔，包括最初的實驗室。

亞當斯說："實驗室並不對每一個下游誤用（這些誤用是很難預料的），但它們保留了一項重要的注意義務，即預料可預見的危害、記錄風險並提供緩解工具和指導，特別是考慮到全球執法能力的不平衡。"

Meta公司發言人拒絕回答有關開發者有責任解決開源模型下游濫用問題以及如何報告問題的提問，但指出了該公司為Llama開發者提供的Llama保護工具，以及該公司的《Meta Llama負責任使用指南》。

微軟人工智能紅隊負責人拉姆-尚卡爾-西瓦-庫馬爾（Ram Shankar Siva Kumar）在一封電子郵件中說，微軟MSFT.O認為開源模型在多個領域 "發揮着重要作用"，但與此同時，我們也清醒地認識到，開放模型與所有變革性技術一樣，如果在沒有適當保障措施的情況下發布，可能會被對手濫用"。

他說，微軟進行了發布前評估，包括評估 "互聯網暴露、自託管和工具調用場景的風險 "的流程，在這些場景中，濫用的可能性很大。公司還對新出現的威脅和濫用模式進行監控。"最終，負責任的開放式創新需要創造者、部署者、研究人員和安全團隊的共同承諾。"

奧拉馬沒有回應置評請求。Alphabet旗下的GOOGL.O谷歌和Anthropic公司沒有回應相關問題。

(為便利非英文母語者，路透將其報導自動化翻譯為數種其他語言。由於自動化翻譯可能有誤，或未能包含所需語境，路透不保證自動化翻譯文本的準確性，僅是為了便利讀者而提供自動化翻譯。對於因為使用自動化翻譯功能而造成的任何損害或損失，路透不承擔任何責任。)