首個「萬億級時間點」預訓練，清華發布生成式時序大模型日晷

【導讀】清華大學軟件學院發佈生成式時序大模型——日晷（Sundial）。告別離散化侷限，無損處理連續值，基於流匹配生成預測，緩解預訓練模式坍塌，支持非確定性概率預測，為決策過程提供動態支持。

最近，清華大學大數據系統軟件國家工程研究中心的⼀項時序⼤模型⼯作被ICML 2025接受為Oral⽂章。

論文鏈接：https://arxiv.org/pdf/2502.00816

代碼鏈接：https://github.com/thuml/Sundial

開源模型：https://huggingface.co/thuml/sundial-base-128m

在論文剛發佈時，這項工作就引起了學界和業界關注。

在HuggingFace發佈一周后，日晷在時序預測板塊的Trending排名第四，下載量達 6k。

HuggingFace 時序預測（Time Series Forecasting）板塊

該工作的主要貢獻如下：

• 針對時序預測的非確定性，提出基於流匹配的預測損失函數，能根據歷史序列生成多條預測軌跡，並緩解時序大模型預訓練時的模式坍塌。
• 構建了首個萬億時間點規模的高質量時序數據集，發佈了支持零樣本預測的預訓練模型。
• 相較統計方法和深度模型，無需專門微調在多項預測榜單取得效果突破，具備毫秒級推理速度。

時序大模型

時間序列揭示了數據隨時間的變化規律，時序預測在氣象、金融、物聯網等多個領域中發揮着重要作用。

針對時序數據的統計學習，機器學習，深度學習方法層出不窮，然而，不同方法都有各自的優勢區間：

深度學習模型雖好，但在數據稀缺時容易出現性能劣化；

統計學習方法雖快，但需逐序列擬合，缺乏泛化性。

訓練數據與模型效果的規模曲線同樣適用於時序分析

最近研究旨在構建時序大模型：在大規模時序數據上預訓練，在分佈外數據上預測（零樣本預測）。

由於不需要訓練，其資源開銷主要集中在推理，速度媲美 ARIMA 等統計方法，並擁有更強的泛化性。

谷歌，亞馬遜，以及 Salesforce 等公司相繼自研時序大模型，用於在特定場景下提供開箱即用預測能力。

非確定性預測

目前業界的深度模型主要支持確定性預測：給定歷史序列，產生固定的預測結果。

然而，時序預測存在非確定性，對預測結果的把握取決於信息的充分程度。

深度學習以數據驅動的方式建模時序變化的隨機過程，實際觀測到的序列也是上述隨機過程的一次採樣。

因此，時序預測不光存在信息完備的難題，即使信息充分，未來結果也存在一定的不確定性。

決策過程往往更需要對預測結果的風險評估（例如方差，置信度等），因此概率預測能力至關重要。

預訓練模式坍塌

概率預測並非難事

均方損失函數能建模高斯先驗的預測分佈，尖點損失函數（Pinball Loss）可實現分位數預測。

然而，為時序大模型賦予概率預測能力充滿挑戰：大規模時序數據往往呈現複雜多峰分佈——相似的歷史序列，在不同領域/樣本中可能出現完全不同的未來變化。

時序預測的非確定性來自時序數據的

在大規模時序數據的複雜異構分佈上訓練，以往模型往往給出「過平滑」的預測結果（上圖右）。

雖然從優化目標來看，該結果是全局最優的，但預測結果沒有提供實際有效的信息。

作者團隊將該現象稱為時序模型「模式坍塌」，源自使用帶先驗的損失函數，限制了模型的假設空間 (Hypotheses Space)。

為緩解模式坍塌，Moirai使用混合分佈處理模稜兩可的預測情況。然而，混合分佈依然引入了概率先驗，不夠靈活。

亞馬遜Chronos將時間序列離散化，使用交叉熵優化學習弱先驗的多峰概率分佈。

但是，交叉熵損失依賴離散化，存在精度損失和詞表外泛化（Out-of-Vocabulary）等問題，不夠原生。

日晷相較此前時序大模型的區別：

（1）時序原生性：無需離散化，使用 Transformer 直接編碼連續時間值，突破語言建模（Language Modeling）

（2）分佈靈活性：不引入分佈先驗，基於生成模型學習靈活的數據分佈，突破參數先驗（Parametric Densities）

針對原生性和靈活性的矛盾，該工作深入原生連續編碼和生成式建模，提出首個基於流匹配的生成式時序大模型。

無需離散化，在連續值序列上進行處理和預測；無需假定預測分佈，釋放模型對大規模時序數據的學習能力。

時序Transformer+流匹配生成

日晷模型主體為可擴展Transformer，使用重歸一化，分塊嵌入和多分塊預測等技術適配時序數據特性，並融入了FlashAttention，KV Cache等進行效率優化。

日晷可視作一種

基於Transformer提取的上下文表徵，研究人員提出時間流預測損失（TimeFlow Loss），將歷史序列表徵作為生成條件引入到流匹配過程中。

流匹配是生成式建模的前沿技術，通過學習速度場，將簡單分佈變換為任意複雜分佈，從簡單分佈中採樣隨機噪聲，能夠生成服從複雜分佈的樣本。

所提出的損失函數不引入任何概率先驗，模型將採樣隨機性引入訓練過程，擴展了預測分佈的假設空間，增強了模型的擬合能力，使其能更加靈活地處理時序數據的分佈異構性，

推理時，通過多次從簡單分佈中採樣，模型能夠生成多條符合歷史變化的預測軌跡；基於多條預測樣本，能夠構建預測序列的分佈，從而估計預測值，方差和置信區間等。

日晷可多次採樣生成未來可能出現的情況，

萬億時間點預訓練

該工作構建了領域最大的時序數據集TimeBench，由真實數據和合成數據構成，覆蓋氣象、金融、交通、能源、物聯網等多個領域，包含小時到日度等多種採樣頻率和預測時效，總計萬億（10^12）時間點。

TimeBench 由大量真實數據和少量合成數據組成，覆蓋多種時序預測的應用相關領域

在萬億數據基礎上，模型在擴展的數據量/參數規模中預訓練，驗證了生成式時序大模型的「規模定律」。

不同參數規模的模型訓練曲線

預測榜單效果

日晷在多項榜單中進行了測試，涵蓋多種輸入輸出長度，包含點預測以及概率預測場景：

GIFT-Eval 榜單：日晷的零樣本預測能力超過此前Chronos，Moirai，以及分佈內訓練的深度模型。

GIFT-Eval 為 Salesforce 發佈的預測榜單，包含24個數據集，超過144,000個時間序列和1.77億個數據點，跨越7個領域，10種頻率，涵蓋多變量，短期和長期的預測場景

FEV 榜單：日晷大幅超過 ARIMA 等統計方法，取得了與 Chronos 相當的效果，僅需1/35的推理時間。

GIFT-Eval 為 AutoGluon 發佈的預測榜單，包含27個數據集，指標從左到右依次為：概率預測（WQL），點預測（MASE）和推理時間（ms）

Time-Series-Library 榜單：日晷取得了第一的零樣本預測效果，隨參數規模擴大，效果持續提升。

開箱即用模型

目前 HuggingFace 上開源了基礎模型，僅需不到十行代碼，就可調用模型進行零樣本預測，並提供了均值預測，分位數預測，置信區間預測等示例。

模型可在CPU上直接推理，生成多條預測結果的時間不到一秒。

總結與展望

日晷結合了連續值編碼、Transformer和生成式預測目標，緩解了時序數據預訓練的模式坍塌問題。通過萬億規模預訓練和工程效率優化，模型提供了開箱即用預測能力和毫秒級推理速度。

所提出的生成式預測範式有望擴展時序模型的應用前景，使其成為許多行業的決策工具。

未來，該工作計劃探索在多變量預測場景下的訓練和微調技術，融入特定場景下的機理知識和決策反饋，進一步釋放時序大模型的泛化性和可控性。

參考資料：

https://arxiv.org/abs/2502.00816 

本文來自微信公眾號「新智元」，編輯：LRST ，36氪經授權發佈。