排行榜第一的美圖App上，美女發現自拍竟被AI拿去生成果照？

　　新智元報道  

　　編輯：昕朋

　　【新智元導讀】AI生成社交媒體頭像成為當下潮流，但你是否知道，有的AI不僅能給你想要的美圖，還會替你生成自己的果照呢？

　　對很多網絡弄潮兒來説，為自己的社交平臺設計一個AI製作的個人頭像是件很酷的事。

　　但是專業的生成軟件要麼因價格太貴，要麼是上手太複雜而將人勸退。

　　如果説，有個價格實惠、操作簡單的生成式App能滿足你的願望。只不過，這個軟件會自動生成你的果照，你會使用嗎？

　　今天説的這款美圖App叫Lensa AI，於2018年推出。上個月，因發佈‘魔術頭像’（左2）功能后風靡一時。該功能允許用户在上傳10張照片后，根據Stable Diffusion生成各種數字藝術風格的肖像。

　　本月早些時候，該應用程序在iOS App Store的‘照片和視頻’類別中排名第一。

　　然而，就是這樣一款爆火的人工智能生成藝術應用，卻捲入了‘惡意生成用户果照’的旋渦。

　　過於智能的AI：沒私密圖像也能生成果照

　　Lensa AI的功能是根據用户上傳的參考照片對其進行藝術編輯。但有多名用户反映，該機器學習技術會在無意中生成她們的裸體照片。

　　‘我把精心挑選的20張照片放進Lensa里，得到的不僅是這20張自拍照，它還帶了一堆人工智能生成的果照回來，’一位用户在Twitter上寫道。‘需要明確的是，我提交的照片中沒有一張包含裸體，這是該應用程序特別禁止的！’

　　不止一位收到過這種‘驚喜’，網絡上，還有數十人吐槽，其中大多數是女性。

　　她們稱儘管在上傳照片時避開了所有私密內容，Lensa還是自動生成了她們的性感照或隱私照。

　　雖然目前還不清楚Lensa在沒有提示的情況下生成裸體圖像的頻率，但多個用户報告説他們就是這種情況。

　　一位用户在Twitter上發佈：‘奇怪的是，我沒有提交任何私密照片，但它最終還是生成了果照，WTF？’

　　更令用户擔憂的是，Lensa是否以某種方式訪問了尚未上傳的手機里的照片，以及該應用程序的隱私政策是否允許其生成的數據被第三方公司（如Google Cloud和AWS）使用。

　　‘Lensa用户：你們有沒有在頭像包里收到自己過於性感的圖像？’一位陷入困境的用户在Twitter上寫道。

　　‘我收到了一張自己的正面果照，現在很擔心。我擔心該應用程序是否訪問了我手機上的其他圖像以及它是否有查看的權利。’

　　雖然Lensa母公司Prisma Lab的CEO兼聯合創始人Andrey Usoltsev表示，Lensa‘不能意外製作’此類圖像，但他表示，AI可能會因‘故意誘導’來生成裸體圖像。

　　‘爲了加強Lensa的工作，我們正在構建NSFW過濾器。它將有效地模糊任何檢測到的圖像。如果用户希望打開或保存此類圖像，則由用户自行決定。’

　　過於瘋狂的AI：製作澀圖易如反掌

　　爲了驗證Lensa是否會生成它不應該生成的圖像，外媒做了一組對照實驗。實驗創建了兩組Lensa肖像：

　　一組是某知名演員的15張照片。

　　另一組在相同的15張照片基礎上，添加了5張將演員頭像PS在果照模特身上的照片。

　　第一組圖像與我們之前Lensa生成的AI畫像風格一致。然而，第二組比預期的勁爆得多。

　　事實證明，只要將私密照片輸入到Lensa中，AI就會認為用户色情內容表示許可，而生成圖像的尺度也超過了NSFW過濾器的限制。

　　更可怕的是，在100張圖像中，有11張是高質量的果照，而不是明顯有AI編輯痕跡的照片。

　　如果對於這個問題不加修改，將后患無窮。

　　對於心懷不軌的人來説，他們只需一部手機、一個App和7.99美元，就能輕松生成數百張逼真的裸體人像。

　　他們可以輕松生成任何人（至少，擁有照片的任何人）的圖像。試想一下，只要你的公共社交平臺上有自己的照片，就有被陌生人用於製作軟色情內容的風險。

　　老闆解釋：我不是我沒有

　　面對公眾的擔憂，Usoltsev稱，這種行為只有在AI被‘欺騙’的情況下才會發生，並指出這違反了Lensa使用條款。

　　在接受媒體採訪時，他表示：‘我們的使用條款（第6條）和Stability AI服務條款（提示指南）明確禁止使用該工具從事任何有害或騷擾行為。

　　此類內容的生成和廣泛使用可能會招致法律訴訟，因為美國和英國都將未經同意共享露骨內容和圖像的行為視為犯罪。

　　我們提供的指南明確規定了我們的形象要求，嚴禁使用任何露骨的描述。我們希望Lensa的用户能遵循指南，以獲得最佳結果。’

　　同時，Usoltsev還解釋了Lensa為什麼會生成NSFW圖像。他解釋説這是Stability AI的底層技術所決定的。

　　‘Stable Diffusion神經網絡通過互聯網上大量未經過濾的數據進行訓練。無論是我們還是Stability AI，都無法有意識地應用任何表示偏差。

　　更準確地説，這些未經過濾的數據將人類現有的偏見引入到Lensa模型中。創作者知道模型可能帶有社會偏見，我們也是。’

　　‘毫無疑問，在不久的將來，需要圍繞人工智能的使用和法規進行更廣泛的對話，我們渴望參與其中。’

　　‘我們要提供所有必要的指導和適當的警告，以實現魔術頭像功能的最佳體驗，’Usoltsev説：‘但是，如果一個人決心從事有害的行為，任何工具都有可能成為武器。’

　　參考資料：

　　https：//www.businessinsider.com/lensa-ai-photo-App-generating-nsfw-images-without-prompting-2022-12

　　https：//techcrunch.com/2022/12/06/lensa-goes-nsfw/

　　https：//techcrunch.com/2022/12/06/prisma-ai-regulation/

（聲明：本文僅代表作者觀點，不代表新浪網立場。）