研究人员警告，开源AI模型容易受到犯罪滥用

研究人员表示，数千台服务器在主要人工智能平台安全控制之外运行开源LLM

研究人员在数百个开源LLM实例中识别出已删除的护栏

研究人员警告称，LLM可能被用来进行垃圾邮件、网络钓鱼、虚假信息活动

作者：AJ Vicens

1月29日（路透社）--研究人员周四表示，黑客和其他犯罪分子可以很容易地在主要人工智能平台的护栏和限制之外占领运行开源大型语言模型的计算机，从而造成安全风险和漏洞。

研究人员表示，黑客可以针对运行LLM的计算机，并指示它们执行垃圾邮件操作、网络钓鱼内容创建或虚假信息活动，从而规避平台安全协议。

这项研究由网络安全公司SentinelOne S.N和Censys联合进行，历时293天，并独家与路透社分享，为了解数千个开源LLM部署的潜在非法用例规模提供了一个新窗口。研究人员表示，其中包括黑客攻击、仇恨言论和骚扰、暴力或血腥内容、个人数据盗窃、诈骗或欺诈，在某些情况下还包括儿童性虐待材料。

研究人员表示，虽然存在数千种开源LLM变体，但可互联网访问的主机上的很大一部分LLM是Meta的META.O Llama、Google DeepMind的Gemma等的变体。虽然一些开源模型包括护栏，但研究人员发现了数百个护栏被明确删除的实例。

人工智能行业关于安全控制的对话“忽视了这种显然被用于各种不同东西的剩余能力，其中一些是合法的，一些显然是犯罪的，”SentinelOne情报和安全研究执行主任Juan Andres Guerrero-Saade说。Guerrero-Saade将这种情况比作整个行业和开源社区都没有得到适当考虑的“冰山”。

该研究分析了通过Olama部署的开源LLM的可公开访问部署，Olama是一种允许人们和组织运行各种大型语言模型的自己版本的工具。

研究人员能够在他们观察到的大约四分之一的LLM中看到系统提示，即规定模型行为的指令。其中，他们确定7.5%可能会导致有害活动。

研究人员观察到的宿主中约有30%在中国境外活动，约20%在美国

全球人工智能治理中心首席执行官兼创始人雷切尔·亚当斯（Rachel Adams）在一封电子邮件中表示，一旦开放模型发布，接下来发生的事情的责任将由整个生态系统（包括原始实验室）共同承担。

亚当斯说：“实验室并不对每一次下游滥用行为负责（这很难预料），但他们保留着重要的注意义务，即预测可预见的伤害、记录风险并提供缓解工具和指导，特别是考虑到全球执法能力不平衡。”

Meta发言人拒绝回应有关开发人员解决下游滥用开源模型的担忧的责任以及如何报告担忧的问题，但指出了该公司针对Lama开发人员的Lama保护工具，以及该公司的Meta Lama负责任使用指南。

微软人工智能红色团队负责人拉姆·香卡·西瓦·库马尔（Ram Shankar Siva Kumar）在一封电子邮件中表示，微软MSFT.O认为开源模型在各个领域“发挥着重要作用”，但“与此同时，我们清楚地看到，开放模型，就像所有变革性技术一样，如果在没有适当的保障措施的情况下发布，可能会被对手滥用。"

他说，微软执行发布前评估，包括评估“互联网暴露、自托管和工具调用场景的风险”的流程，这些场景的滥用可能很高。该公司还监控新出现的威胁和滥用模式。“最终，负责任的开放创新需要创造者、部署者、研究人员和安全团队之间的共同承诺。"

奥拉马没有回应置评请求。Alphabet的GOOGL.O Google和Anthropic没有回应问题。

（AJ Vicens在底特律报道;马修刘易斯编辑）

（（a.j. tr.com; +1 651 263 1318））