繁體
  • 简体中文
  • 繁體中文

熱門資訊> 正文

李飛飛團隊推出Frameboy,Atlas世界模型迎來實時漫遊交互

2026-11-06 16:04

  World Labs於2026年11月5日發佈Frameboy研究預覽版。該工具可將Atlas生成的場景通過雲端GPU串流至瀏覽器,最高幀率可達15幀/秒,用户能夠自由操控相機。公司同時將該實時交互模式集成進自家封閉測試網頁應用View finder,這款應用用於搭建3D場景。

  從單次渲染請求到連續漫遊探索

  World Labs表示,支撐Frameboy的Atlas優化版本,在保證新視角合成質量的前提下,實現了更快、效率更高的推理。本次發佈最核心的變化是全新交互邏輯:用户不再需要提交視頻生成請求、等待成品返回,而是持續接收畫面幀,並且可以在漫遊過程中隨時改變相機行進路線。

  World Labs稱,原先手動觸發Atlas生成視頻需要數十秒甚至數分鍾,這會讓用户在搭建場景、規劃相機路徑時變得保守,迭代次數變少。而連續輸出畫面后,用户一旦看到不理想的視角,可以立刻調整。這讓試錯調試融入漫遊操作,而不是割裂成一次次獨立的生成任務。

  Atlas的潛在應用場景包括:為影視拍攝預選虛擬機位、檢查工地施工進度、製作3D遊戲關卡、為機器人仿真環境。這類工作都需要挑選、測試視角,這也解釋了為什麼World Labs把生成延迟當成產品層面的核心問題,而不只是單純的推理技術指標。

  View finder:先搭建場景,再開啟串流漫遊

  Frameboy演示內置精選場景列表:斯坦福四方院、蘇託浴場、藝術宮、賽博朋克場景、飛船內部、冰封堡壘。World Labs稱,場景可以由單張圖片作為初始種子,Atlas會生成更多視角畫面,填充Frameboy的空間環境;也可以使用多視角實拍素材,生成可供漫遊的真實地點。

  View finder的能力不止侷限於預設場景。用户可以上傳素材,逐幀搭建場景、生成不同機位的畫面,Atlas輸出的每一幀都附帶色彩信息與深度圖。在View finder里建好的場景,可以直接導入Frameboy開啟實時漫遊,漫遊過程中疊加串流生成的新畫面。

  View finder目前為封閉內測,需要排隊申請;Atlas發佈之初也僅對少數合作方開放早期訪問。這套全新串流工作流同樣處於受限訪問計劃內。

  Atlas架構與RTFM技術脈絡

  World Labs在2026年9月1日推出Atlas,它是一款從零預訓練的全域世界模型,原生支持文本、圖像、視頻、3D多模態輸入。這款多模態自迴歸擴散變換器會將輸入信息錨定在三維空間形成空間上下文,再基於前面生成的內容,逐一生成序列元素。支持的輸入包括文本、圖片、相機位姿、3D深度圖;視頻被拆解為圖像序列,每一張圖像和深度圖都綁定明確的相機位姿。

  World Labs介紹,Atlas可以生成最長1分鍾、支持相機操控的1440p視頻,也能依靠少量輸入圖片重建真實場景;同時還可以輸出點雲、3D高斯濺射,也就是説除圖片和視頻之外,模型能夠直接輸出顯式三維數據。

  Frameboy的技術前身是RTFM——2025年10月16日發佈的研究預覽版本,當時目標是在單張H100顯卡上實現可交互幀率。RTFM屬於可學習渲染器,它不需要構建顯式三維表徵,直接生成全新2D視角;它把帶位姿的畫面作為空間記憶,通過上下文調度調取鄰近畫面生成新視角,避免對不斷變長的畫面序列做注意力計算。

  World Labs表示,Atlas在RTFM的思路基礎上做了規模化升級:模型體量更大、訓練數據提升數個數量級。RTFM主要用於在已有視角之間做插值;Atlas既可以僅憑一張圖片或者一句提示詞從零生成場景,同時也保留基於多張圖片做新視角合成的能力。

  算力瓶頸仍在雲端

  World Labs坦言,當前Frameboy需要高性能雲端GPU服務器支撐,對比本地渲染方案,成本並不低。

  公司期待軟硬件持續迭代,讓這項技術速度更快、成本更低。這次預覽版的取捨十分清晰:用户現在已經可以在瀏覽器里體驗可控相機的連續生成效果,但維持這套能力所需的雲端推理,仍是大規模日常使用的現實阻礙。

責任編輯:江學思

風險及免責提示:以上內容僅代表作者的個人立場和觀點,不代表華盛的任何立場,華盛亦無法證實上述內容的真實性、準確性和原創性。投資者在做出任何投資決定前,應結合自身情況,考慮投資產品的風險。必要時,請諮詢專業投資顧問的意見。華盛不提供任何投資建議,對此亦不做任何承諾和保證。