世界模型版《模擬人生》：AI虛擬小人街頭演講拉票，GPT-4o選舉獲勝

一個真實世界模擬器。

當世界模型高度進化后，里面的「人」都在做些什麼？

有人會進行街頭演説，吸引到了不少聽眾，小孩會和機器狗玩：

有人會當街作案，警察前去抓捕，又有人會在大庭廣眾之下求婚：

本周五，來自馬薩諸塞大學阿默斯特分校（UMass Amherst）、約翰霍普金斯大學、卡耐基梅隆大學的研究者們提出了一個神奇的研究：虛擬社區（Virtual Community）。

虛擬社區將真實世界的地理空間數據與生成模型相結合，為多種不同類型的智能體創建了一個具有社會根基的交互式、可擴展開放世界場景。

論文：Virtual Community: An Open World for Humans, Robots, and Society

論文鏈接：https://virtual-community-ai.github.io/paper.pdf

項目鏈接：https://virtual-community-ai.github.io/

該工作昨晚提交，立即吸引了一些 AI 圈大佬的關注，紐約大學助理教授謝賽寧表示，這對於智能體研究來説意義重大。

虛擬社區提供了一個統一的框架，用於模擬社區中人類和機器人豐富的社交和物理互動。它建立在通用物理引擎之上，並以現實世界的 3D 場景作為基礎。作者為人類智能體實現了一個虛擬角色模擬框架，而其中的機器人模擬則主要繼承自 Genesis。

虛擬社區通過在環境中填充配置機器人、人類角色配置文件和社會關係網絡的智能體（由 LLM 提供支持）來支持基於 3D 場景的智能體社區生成。

這一個個人物，都是有詳細背景資料和活動時間表的，他們也會按照這些設定行事。他們的社會關係以羣組的形式構建，每個羣組包含一組智能體、文本描述和指定的羣組活動場所，所以這些人物會被連接成一個有凝聚力的社羣。

虛擬社區會基於真實世界地理空間數據生成場景及相應的智能體。如下圖所示：場景生成組件（A）使用生成模型來增強紋理，並精煉粗糙的 3D 數據，同時精煉地理空間數據以簡化幾何結構。它還利用生成方法創建交互式對象和精細的室內場景。智能體生成組件（B）利用 LLM 基於場景描述生成智能體角色和社交關係網絡。（C）再基於 Genesis 引擎模擬開放世界場景中的虛擬角色社區和機器人。

令人感興趣的是，它可以模擬世界任何地方的 3D 場景，為智能體構建出一個大規模社區 —— 從紐約到倫敦、阿姆斯特丹、丹佛等等。

現有的 3D 地理空間數據 API 在數量和多樣性方面提供了豐富的數據，但它們通常包含大量噪聲，並缺乏紋理和幾何形狀細節。爲了彌補這一差距，作者提出了一種在線流程，對幾何和紋理進行全面的清理和增強。該流程包含四個步驟：網格簡化、紋理細化、對象放置和自動註釋。

作者使用此流程生成了 35 個全球不同城市的帶註釋場景：

虛擬社區其中還具有正常運行的交通系統，包括行人移動、車輛流動和公共交通運營。作者開發了基於 OSM 數據的自動化動態交通生成機制，能夠快速重建城市道路網絡並在全球範圍內實現自主交通模擬。

作為一個幫助未來人與機器協作進行訓練的平臺，機器人將成為虛擬社區不可或缺的一部分，它們無處不在並會其中的「人類」進行無縫互動。目前看到已經導入的機器人就有宇樹的人形機器人、波士頓動力的機器狗，還有四軸無人機、谷歌機器人等。

利用虛擬社區所釋放的新功能，作者引入了兩項新的具身化多智能體任務：一項涉及多名人類智能體的競選任務，以及一項同時涉及機器人和人類智能體的社區助理任務。爲了成功完成這些任務，智能體需要具備在社區環境中進行規劃的能力，以及與其他智能體互動的社交智能。

作為這兩項任務的基礎，如果沒有分配到特定任務，社區中的智能體會遵循默認的日常計劃和慣例。在每輪遊戲中，都會選擇多個智能體併爲其分配一項任務。當智能體被賦予任務時，它會暫停日常計劃，專注於完成社區中分配的社交任務。

在「競選」任務中，候選人智能體必須高效地規劃與社區內的選民智能體建立聯繫並進行説服。由於選民的性格和社會關係各不相同，一些選民最初可能傾向於某些候選人，這就要求每位候選人制定適應性策略，以在整個選舉過程中影響和改變選民的意見。

結果如下圖所示，採用 GPT-4o 主干的候選人比採用 GPT-3.5-turbo 主干的候選人擁有更高的平均得票率和轉化率，這意味着它更有能力在大多數場景下改變選民的觀點。

社區助手任務的場景則是兩個異構機器人在開放世界環境中合作協助人類。這些任務要求智能體進行合作規劃，以協助人類化身進行日常活動 —— 搬運，即智能體陪同人們外出並幫助搬運物品；以及遞送，即智能體將物品從源位置（室內或室外）運送到目的地。

實驗結果顯示，兩種基線方法在交付方面的表現均優於攜帶，這反映了在動態開放世界中同時操控物體和跟隨人類的極高難度。

作者希望虛擬社區工作能夠幫助人們大規模進行未來的社會智能研究，包括：1）機器人如何智能地合作或競爭；2）人類如何發展社會關係和建立社區；3）智能機器人和人類如何在開放世界中共存。

以下為該研究的團隊成員：

更詳細的內容，可參閱論文原文。

本文來自微信公眾號「機器之心」（ID：almosthuman2014），作者：澤南、楊文，36氪經授權發佈。