研究人員警告，開源AI模型容易受到犯罪濫用

研究人員表示，數千台服務器在主要人工智能平臺安全控制之外運行開源LLM

研究人員在數百個開源LLM實例中識別出已刪除的護欄

研究人員警告稱，LLM可能被用來進行垃圾郵件、網絡釣魚、虛假信息活動

作者：AJ Vicens

1月29日（路透社）--研究人員周四表示，黑客和其他犯罪分子可以很容易地在主要人工智能平臺的護欄和限制之外佔領運行開源大型語言模型的計算機，從而造成安全風險和漏洞。

研究人員表示，黑客可以針對運行LLM的計算機，並指示它們執行垃圾郵件操作、網絡釣魚內容創建或虛假信息活動，從而規避平臺安全協議。

這項研究由網絡安全公司SentinelOne S.N和Censys聯合進行，歷時293天，並獨家與路透社分享，爲了解數千個開源LLM部署的潛在非法用例規模提供了一個新窗口。研究人員表示，其中包括黑客攻擊、仇恨言論和騷擾、暴力或血腥內容、個人數據盜竊、詐騙或欺詐，在某些情況下還包括兒童性虐待材料。

研究人員表示，雖然存在數千種開源LLM變體，但可互聯網訪問的主機上的很大一部分LLM是Meta的META.O Llama、Google DeepMind的Gemma等的變體。雖然一些開源模型包括護欄，但研究人員發現了數百個護欄被明確刪除的實例。

人工智能行業關於安全控制的對話「忽視了這種顯然被用於各種不同東西的剩余能力，其中一些是合法的，一些顯然是犯罪的，」SentinelOne情報和安全研究執行主任Juan Andres Guerrero-Saade説。Guerrero-Saade將這種情況比作整個行業和開源社區都沒有得到適當考慮的「冰山」。

該研究分析了通過Olama部署的開源LLM的可公開訪問部署，Olama是一種允許人們和組織運行各種大型語言模型的自己版本的工具。

研究人員能夠在他們觀察到的大約四分之一的LLM中看到系統提示，即規定模型行為的指令。其中，他們確定7.5%可能會導致有害活動。

研究人員觀察到的宿主中約有30%在中國境外活動，約20%在美國

全球人工智能治理中心首席執行官兼創始人雷切爾·亞當斯（Rachel Adams）在一封電子郵件中表示，一旦開放模型發佈，接下來發生的事情的責任將由整個生態系統（包括原始實驗室）共同承擔。

亞當斯説：「實驗室並不對每一次下游濫用行為負責（這很難預料），但他們保留着重要的注意義務，即預測可預見的傷害、記錄風險並提供緩解工具和指導，特別是考慮到全球執法能力不平衡。」

Meta發言人拒絕迴應有關開發人員解決下游濫用開源模型的擔憂的責任以及如何報告擔憂的問題，但指出了該公司針對Lama開發人員的Lama保護工具，以及該公司的Meta Lama負責任使用指南。

微軟人工智能紅色團隊負責人拉姆·香卡·西瓦·庫馬爾（Ram Shankar Siva Kumar）在一封電子郵件中表示，微軟MSFT.O認為開源模型在各個領域「發揮着重要作用」，但「與此同時，我們清楚地看到，開放模型，就像所有變革性技術一樣，如果在沒有適當的保障措施的情況下發布，可能會被對手濫用。"

他説，微軟執行發佈前評估，包括評估「互聯網暴露、自託管和工具調用場景的風險」的流程，這些場景的濫用可能很高。該公司還監控新出現的威脅和濫用模式。「最終，負責任的開放創新需要創造者、部署者、研究人員和安全團隊之間的共同承諾。"

奧拉馬沒有迴應置評請求。Alphabet的GOOGL.O Google和Anthropic沒有迴應問題。

（AJ Vicens在底特律報道;馬修劉易斯編輯）

（（a.j. tr.com; +1 651 263 1318））