AJ Vicens

路透1月29日 - 研究人员周四表示，黑客和其他犯罪分子可以在主要人工智能平台的防护和限制之外，轻易地操控运行开源大型语言模型的计算机，从而产生安全风险和漏洞。

研究人员说，黑客可以瞄准运行大型语言模型的计算机，指挥它们执行垃圾邮件操作、创建网络钓鱼内容或虚假信息宣传活动，从而规避平台安全协议。

这项研究由网络安全公司SentinelOne S.N和Censys联合开展，历时293天，研究成果独家提供给路透，为人们了解数千个开源LLM部署的潜在非法用例的规模提供了一个新的窗口。研究人员说，这些情况包括黑客攻击、仇恨言论和骚扰、暴力或血腥内容、个人数据盗窃、诈骗或欺诈，在某些情况下还包括儿童性虐待材料。

研究人员称，虽然存在数千种开源 LLM 变体，但在互联网可访问主机上的 LLM 中，有很大一部分是 Meta 的 META.O Llama、谷歌 DeepMind 的 Gemma 和其他公司的变体。虽然一些开源模型包含防护栏，但研究人员发现了数百个防护栏被明确移除的实例。

SentinelOne 公司情报与安全研究执行总监胡安-安德烈斯-格雷罗-萨德（Juan Andres Guerrero-Saade）说："人工智能行业关于安全控制的讨论 "忽略了这种显然被用于各种不同用途的剩余能力，其中有些是合法的，有些显然是犯罪的。"格雷罗-萨德将这种情况比作一座 "冰山"，整个行业和开源社区都没有得到充分认识到。

这项研究分析了通过 Ollama 部署的开源 LLM 的公开部署情况，Ollama 是一个允许人们和组织运行自己版本的各种大型语言模型的工具。

在他们观察到的大约四分之一的 LLM 中，研究人员能够看到系统提示，即决定模型行为的指令。在这些提示中，他们发现有 7.5% 可能会导致有害活动。

研究人员观察到的主机中，约有 30% 在中国运营，约有 20% 在美国运营。

全球人工智能治理中心（Global Center on AI Governance）的创始人兼首席执行官瑞秋-亚当斯（Rachel Adams）在一封电子邮件中说，一旦开放模型被发布，接下来发生的事情的责任将由整个生态系统共同承担，包括最初的实验室。

亚当斯说："实验室并不对每一个下游误用（这些误用是很难预料的），但它们保留了一项重要的注意义务，即预料可预见的危害、记录风险并提供缓解工具和指导，特别是考虑到全球执法能力的不平衡。"

Meta公司发言人拒绝回答有关开发者有责任解决开源模型下游滥用问题以及如何报告问题的提问，但指出了该公司为Llama开发者提供的Llama保护工具，以及该公司的《Meta Llama负责任使用指南》。

微软人工智能红队负责人拉姆-尚卡尔-西瓦-库马尔（Ram Shankar Siva Kumar）在一封电子邮件中说，微软MSFT.O认为开源模型在多个领域 "发挥着重要作用"，但与此同时，我们也清醒地认识到，开放模型与所有变革性技术一样，如果在没有适当保障措施的情况下发布，可能会被对手滥用"。

他说，微软进行了发布前评估，包括评估 "互联网暴露、自托管和工具调用场景的风险 "的流程，在这些场景中，滥用的可能性很大。公司还对新出现的威胁和滥用模式进行监控。"最终，负责任的开放式创新需要创造者、部署者、研究人员和安全团队的共同承诺。"

奥拉马没有回应置评请求。Alphabet旗下的GOOGL.O谷歌和Anthropic公司没有回应相关问题。

(为便利非英文母语者，路透将其报导自动化翻译为数种其他语言。由于自动化翻译可能有误，或未能包含所需语境，路透不保证自动化翻译文本的准确性，仅是为了便利读者而提供自动化翻译。对于因为使用自动化翻译功能而造成的任何损害或损失，路透不承担任何责任。)