2022年深度學(xué)習(xí)在時間序列預(yù)測和分類中的研究進(jìn)展綜述

來源：Deephub Imba
時間序列預(yù)測的transformers的衰落和時間序列嵌入方法的興起，還有異常檢測、分類也取得了進(jìn)步。
2022年整個領(lǐng)域在幾個不同的方面取得了進(jìn)展，本文將嘗試介紹一些在過去一年左右的時間里出現(xiàn)的更有前景和關(guān)鍵的論文，以及Flow Forecast [FF]預(yù)測框架。

時間序列預(yù)測

https://arxiv.org/pdf/2205.13504.pdf
Transformer相關(guān)研究對比Autoformer、Pyraformer、Fedformer等，它們的效果和問題：

隨著 Autoformer (Neurips 2021)、Pyraformer (ICLR 2022)、Fedformer (ICML 2022)、EarthFormer (Neurips 2022) 和 Non-Stationary Transformer (Neurips) 等模型的出現(xiàn)，時間序列預(yù)測架構(gòu)的 Transformer 系列不斷發(fā)展壯）。但是這些模型準(zhǔn)確預(yù)測數(shù)據(jù)并優(yōu)于現(xiàn)有方法的能力仍然存在疑問，特別是根據(jù)新研究（我們將在稍后討論）。
Autoformer ：擴(kuò)展并改進(jìn)了 Informer 模型的性能。Autoformer 具有自動關(guān)聯(lián)機(jī)制，使模型能夠比標(biāo)準(zhǔn)注意力更好地學(xué)習(xí)時間依賴性。它旨在準(zhǔn)確分解時態(tài)數(shù)據(jù)的趨勢和季節(jié)成分。

Pyraformer：作者介紹了“金字塔注意模塊 (PAM)，其中尺度間樹結(jié)構(gòu)總結(jié)了不同分辨率下的特征，尺度內(nèi)相鄰連接對不同范圍的時間依賴性進(jìn)行建模。”
Fedformer：該模型側(cè)重于在時間序列數(shù)據(jù)中捕捉全球趨勢。作者提出了一個季節(jié)性趨勢分解模塊，旨在捕捉時間序列的全局特征。
Earthformer: 可能是這些論文中最獨(dú)特的一個，它特別專注于預(yù)測地球系統(tǒng)，如天氣、氣候和農(nóng)業(yè)等。介紹了一種新的cuboid 注意力架構(gòu)。這篇論文應(yīng)該是潛力巨大的望，因?yàn)樵诤恿骱捅┖轭A(yù)測方面的研究，許多經(jīng)典的Transformer都失敗了。
Non-Stationary Transformer：這是使用transformer 用于預(yù)測的最新論文。作者旨在更好地調(diào)整 Transformer 以處理非平穩(wěn)時間序列。他們采用兩種機(jī)制：去平穩(wěn)注意里和一系列平穩(wěn)化機(jī)制。這些機(jī)制可以插入到任何現(xiàn)有的Transformer模型中，作者測試將它們插入 Informer、Autoformer 和傳統(tǒng)的Transformer 中，都可以提高性能（在附錄中，還表明它可以提高 Fedformer 的性能）。
論文的評估方法：與 Informer 類似，所有這些模型（Earthformer 除外）都在電力、交通、金融和天氣數(shù)據(jù)集上進(jìn)行了評估。主要根據(jù)均方誤差 (MSE) 和平均絕對誤差 (MAE) 指標(biāo)進(jìn)行評估：

這篇論文很好，但是它只對比了Transformer相關(guān)的論文，其實(shí)應(yīng)該與更簡單的方法進(jìn)行比較，比如簡單的線性回歸、LSTM/GRU、甚至是XGB等樹形模型。另外就是它們應(yīng)該不僅僅局限在一些標(biāo)準(zhǔn)數(shù)據(jù)集，因?yàn)槲以谄渌麜r間序列相關(guān)數(shù)據(jù)集上沒有看到很好的表現(xiàn)。比如說informer準(zhǔn)確預(yù)測河流流量方面遇到了巨大的問題，與LSTM或甚至是普通的Transformer相比，它的表現(xiàn)通常很差。
另外就是由于與計(jì)算機(jī)視覺不同，圖像維度至少保持不變，時間序列數(shù)據(jù)在長度、周期性、趨勢和季節(jié)性方面可能存在巨大差異，因此需要更大范圍的數(shù)據(jù)集。
在OpenReview的Non-Stationary Transformer的評論中，一位評論者也表達(dá)了這些問題，但它在最終的元評論中被否決了:
“由于該模型屬于Transformer領(lǐng)域，而且Transformer之前已經(jīng)在許多任務(wù)中表現(xiàn)出了最先進(jìn)的水平，我認(rèn)為沒有必要與其他‘家族’方法進(jìn)行比較?！?/span>
這是一個非常有問題的論點(diǎn)，并導(dǎo)致研究在現(xiàn)實(shí)世界中缺乏適用性。就像我們所認(rèn)知的：XGB在表格數(shù)據(jù)的壓倒性優(yōu)勢還沒有改變，Transformer的閉門造車又有什么意義？每次都超越，每次都被吊打。
作為一個在實(shí)踐中重視最先進(jìn)的方法和創(chuàng)新模型的人，當(dāng)我花了幾個月的時間試圖讓一個所謂的“好”模型工作時，但是最后卻發(fā)現(xiàn)，他的表現(xiàn)還不如簡單的線性回歸，那這幾個月有什么意思？這個所謂的好”模型又有什么意義。
所有的 transformer 論文都同樣存在有限評估的問題。我們應(yīng)該從一開始就要求更嚴(yán)格的比較和對缺點(diǎn)的明確說明。一個復(fù)雜的模型最初可能并不總是優(yōu)于簡單模型，但需要在論文中明確指出這一點(diǎn)，而不是掩蓋或簡單地假設(shè)沒有這種情況。
但是這篇論文還是很好的，比如Earthformer 在MovingMNIST 數(shù)據(jù)集和N-body MNIST數(shù)據(jù)集上進(jìn)行了評估，作者用它來驗(yàn)證cuboid 注意力的有效性，評估了它的降水量即時預(yù)報(bào)和厄爾尼諾周期預(yù)報(bào)。我認(rèn)為這是一個很好的例子，將物理知識整合到具有注意力的模型架構(gòu)中，然后設(shè)計(jì)出好的測試。

https://arxiv.org/pdf/2205.13504.pdf

這篇論文探討了 Transformer 預(yù)測數(shù)據(jù)與基線方法的能力。結(jié)果在某種程度上再次證實(shí)了Transformers 的性能通常比更簡單的模型差，而且難以調(diào)整。這篇論文中的幾個有趣的觀點(diǎn)：

• 用基本的線性層替換自注意力并發(fā)現(xiàn)：“Informer 的性能隨著逐漸簡化而增長，表明至少對于現(xiàn)有的 LTSF 基準(zhǔn)來說，自注意力方案和其他復(fù)雜模塊是不必要的”
• 調(diào)查了增加回溯窗口（ look-back window ）是否會提高 Transformer 的性能并發(fā)現(xiàn)：“SOTA Transformers 的性能略有下降，表明這些模型僅從相鄰的時間序列序列中捕獲相似的時間信息。”
• 探討了位置嵌入是否真的能很好地捕捉時間序列的時間順序。通過將輸入序列隨機(jī)混洗到Transformer中來做到這一點(diǎn)。他們在幾個數(shù)據(jù)集上發(fā)現(xiàn)這種改組并沒有影響結(jié)果（這個編碼很麻煩）。

在過去的幾年里，Transformer模型的無數(shù)次時間序列實(shí)驗(yàn)在絕大多數(shù)情況下結(jié)果都不太理想。在很長一段時間里，我們都認(rèn)為一定是做錯了什么，或者遺漏了一些小的實(shí)現(xiàn)細(xì)節(jié)。所有這些都被認(rèn)為是下一個SOTA模型的思路。但是這個論文卻有一致的思路就是?如果一個簡單的模型勝過Transformer，我們應(yīng)該繼續(xù)使用它們嗎?是所有的Transformer都有固有的缺陷，還是只是當(dāng)前的機(jī)制?我們是否應(yīng)該回到lstm、gru或簡單的前饋模型這樣的架構(gòu)?這些問題我都不知道答案，但是這篇論文的整體影響還有待觀察。到目前為止，我認(rèn)為答案可能是退一步，專注于學(xué)習(xí)有效的時間序列表示。畢竟最初BERT在NLP環(huán)境中成功地形成了良好的表示。
也就是說，我不認(rèn)為我們應(yīng)該把時間序列的Transformer視為完全死亡。Fedformer的表現(xiàn)非常接近簡單模型，并且在各種消融打亂任務(wù)中表現(xiàn)更好。雖然的基準(zhǔn)在很多情況下都難以進(jìn)行預(yù)測，但他們對數(shù)據(jù)的內(nèi)部表示卻相當(dāng)不錯。我認(rèn)為還需要進(jìn)一步了解內(nèi)部表示和實(shí)際預(yù)測輸出之間的脫節(jié)。另外就是正如作者所建議的那樣，改進(jìn)位置嵌入可以在提高整體性能方面發(fā)揮關(guān)鍵作用。最后有一個Transformer的模型，在各種異常檢測數(shù)據(jù)集上表現(xiàn)非常好，下面就會介紹。

https://arxiv.org/abs/2110.02642
相當(dāng)多的研究都集中在將 transformers 應(yīng)用于預(yù)測，但是異常檢測的研究相對較少。這篇介紹了一種（無監(jiān)督）Transformer 來檢測異常。該模型結(jié)合使用特別構(gòu)建的異常注意機(jī)制和 minmax 策略。

本文在五個真實(shí)世界的數(shù)據(jù)集上評估了模型的性能，包括Server Machine Dataset, Pooled Server Metrics, Soil Moisture Active Passive和NeurIPS-TS(它本身由五個不同的數(shù)據(jù)集組成)。雖然有人可能會對這個模型持懷疑態(tài)度，特別是關(guān)于第二篇論文的觀點(diǎn)，但這個評估是相當(dāng)嚴(yán)格的。Neurips-TS是一個最近創(chuàng)建的，專門用于提供更嚴(yán)格的異常檢測模型評估的數(shù)據(jù)集。與更簡單的異常檢測模型相比，該模型似乎確實(shí)提高了性能。
作者提出了一種獨(dú)特的無監(jiān)督Transformer，它在過多的異常檢測數(shù)據(jù)集上表現(xiàn)良好。這是過去幾年時間序列Transformer領(lǐng)域最有前途的論文之一。因?yàn)轭A(yù)測比分類甚至異常檢測更具挑戰(zhàn)性，因?yàn)槟阍噲D預(yù)測未來多個時間步驟的巨大可能值范圍。這么多的研究都集中在預(yù)測上，而忽略了分類或異常檢測，對于Transformer我們是不是應(yīng)該從簡單的開始呢？

https://openreview.net/forum?id=vsNQkquutZk
論文介紹了一種新的正則化形式，可以改進(jìn)深度時間序列預(yù)測模型（特別是上述transformers ）的訓(xùn)練。
作者通過將其插入現(xiàn)有的 transformer + LSTNet模型來評估。他們發(fā)現(xiàn)它在大多數(shù)情況下顯著提高了性能。盡管他們只測試了Autoformer 模型，而沒有測試 Fedformer 這樣的更新模型。
新形式的正則化或損失函數(shù)總是有用的，因?yàn)樗鼈兺ǔ？梢圆迦肴魏维F(xiàn)有的時間序列模型中。如果你 Fedformer + 非平穩(wěn)機(jī)制 + Wavebound 結(jié)合起來，你可能會在性能上擊敗簡單的線性回歸 :)。
時間序列表示
雖然Transformer 再預(yù)測方向上的效果并不好，但在創(chuàng)建有用的時間序列表示方面Transformer還是取得了許多進(jìn)展。我認(rèn)為這是時間序列深度學(xué)習(xí)領(lǐng)域中一個令人印象深刻的新領(lǐng)域，應(yīng)該進(jìn)行更深入的探索。

https://arxiv.org/abs/2106.10466
TS2Vec是一個學(xué)習(xí)時間序列表示/嵌入的通用框架。這篇論文本身已經(jīng)有些過時了，但它確實(shí)開始了時間序列表示學(xué)習(xí)論文的趨勢。
對使用表示進(jìn)行預(yù)測和異常檢測進(jìn)行評估，該模型優(yōu)于許多模型，例如 Informer 和 Log Transformer。

https://openreview.net/forum?id=C9yUwd72yy

作者創(chuàng)建了一個模型(LAST)，使用變分推理創(chuàng)建季節(jié)性和趨勢的分離表示。
作者對他們的模型進(jìn)行了下游預(yù)測任務(wù)的評價，他們通過在表示上添加一個預(yù)測器(見上圖中的B)來做到這一點(diǎn)。它們還提供了有趣的圖來顯示表示的可視化。該模型在幾個預(yù)測任務(wù)以及TS2Vec和成本方面都優(yōu)于Autoformer。在一些預(yù)測任務(wù)上，它看起來也可能比上面提到的簡單線性回歸表現(xiàn)更好。
盡管我仍然對那些只評估標(biāo)準(zhǔn)預(yù)測任務(wù)的模型持懷疑態(tài)度，但這個模型的確很亮眼，因?yàn)樗P(guān)注的是表征而不是預(yù)測任務(wù)本身。如果我們看一下論文中展示的一些圖表，可以看到模型似乎確實(shí)學(xué)會了區(qū)分季節(jié)性和趨勢。不同數(shù)據(jù)集的可視化表示也嵌入到相同的空間中，如果它們顯示出實(shí)質(zhì)性的差異，那將是很有趣的。

https://openreview.net/forum?id=PilZY3omXV2
這是2022年早些時候在ICLR上發(fā)表的一篇論文，在學(xué)習(xí)季節(jié)和趨勢表示方面與LaST非常相似。由于LaST在很大程度上已經(jīng)取代了它的性能，這里就不做過多的描述了。但鏈接在上面供那些想要閱讀的人閱讀。
其他有趣的論文

https://arxiv.org/abs/2102.06828

當(dāng)缺乏訓(xùn)練數(shù)據(jù)時，預(yù)測對 DNN 來說是一項(xiàng)挑戰(zhàn)。這篇論文對具有豐富數(shù)據(jù)的領(lǐng)域使用共享注意力層，然后對目標(biāo)領(lǐng)域使用單獨(dú)的模塊。
它所提出的模型使用合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集進(jìn)行評估。在合成環(huán)境中，測試了冷啟動學(xué)習(xí)和少樣本學(xué)習(xí)，發(fā)現(xiàn)他們的模型優(yōu)于普通 Transformer 和 DeepAR。對于真實(shí)數(shù)據(jù)集采用了 Kaggle 零售數(shù)據(jù)集，該模型在這些實(shí)驗(yàn)中大大優(yōu)于基線。
冷啟動、少樣本和有限學(xué)習(xí)是極其重要的主題，但很少有論文涉及時間序列。該模型為解決其中一些問題提供了重要的一步。也就是說他們可以在更多不同的有限現(xiàn)實(shí)世界數(shù)據(jù)集上進(jìn)行評估，并與更多基準(zhǔn)模型進(jìn)行比較， 微調(diào)或正則化的好處在于可以對任何架構(gòu)進(jìn)行調(diào)整。

https://openreview.net/pdf?id=rP9xfRSF4F
雖然這不是一篇“典型的”時間序列論文，但我選擇將其列入這個列表，因?yàn)楸疚牡闹攸c(diǎn)是在機(jī)器發(fā)生故障之前找到進(jìn)行干預(yù)的最佳時間。這被稱為OTI或最佳時間干預(yù)。
評估OTI的問題之一是潛在生存分析的準(zhǔn)確性(如果不正確，評估也會不正確)。作者根據(jù)兩個靜態(tài)閾值評估了他們的模型，發(fā)現(xiàn)它表現(xiàn)得很好，并且繪制了不同政策的預(yù)期表現(xiàn)和命中與失敗的比率。
這是一個有趣的問題，作者提出了一個新穎的解決方案，Openreview的一位評論者指出:“如果有一個圖表顯示失敗概率和預(yù)期干預(yù)時間之間的權(quán)衡，那么實(shí)驗(yàn)可能會更有說服力，這樣人們就可以直觀地看到這個權(quán)衡曲線的形狀?！?/span>
下面還有一些相關(guān)論文，如果你有興趣可以看看。
10.FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forecasting (Neurips 2022)
https://openreview.net/forum?id=zTQdHSQUQWc
11.Adjusting for Autocorrelated Errors in Neural Networks for Time Series (Neurips 2021)
12.Dynamic Sparse Network for Time Series Classification: Learning What to “See” (Neurips 2022)
https://openreview.net/forum?id=ZxOO5jfqSYw
最近的數(shù)據(jù)集/基準(zhǔn)
最后就是數(shù)據(jù)集的測試的基準(zhǔn)
Monash Time Series Forecasting Archive (Neurips 2021)：該存檔旨在形成不同時間序列數(shù)據(jù)集的“主列表”，并提供更權(quán)威的基準(zhǔn)。該存儲庫包含 20 多個不同的數(shù)據(jù)集，涵蓋多個行業(yè)，包括健康、零售、拼車、人口統(tǒng)計(jì)等等。
https://forecastingdata.org/
Subseasonal Forecasting Microsoft (2021)：這是 Microsoft 公開發(fā)布的數(shù)據(jù)集，旨在促進(jìn)使用機(jī)器學(xué)習(xí)來改進(jìn)次季節(jié)預(yù)測（例如未來兩到六周）。次季節(jié)預(yù)報(bào)有助于政府機(jī)構(gòu)更好地為天氣事件和農(nóng)民的決定做準(zhǔn)備。微軟為該任務(wù)包含了幾個基準(zhǔn)模型，與其他方法相比，一般來說深度學(xué)習(xí)模型的表現(xiàn)相當(dāng)差。最好的 DL 模型是一個簡單的前饋模型，而 Informer 的表現(xiàn)非常糟糕。
https://www.microsoft.com/en-us/research/project/subseasonal-climate-forecasting/
Revisiting Time Series Outlier Detection：本文評述了許多現(xiàn)有的異常/異常值檢測數(shù)據(jù)集，并提出了35個新的合成數(shù)據(jù)集和4個真實(shí)世界數(shù)據(jù)集用于基準(zhǔn)測試。
https://openreview.net/forum?id=r8IvOsnHchr

Flow Forecast是一個開源的時序預(yù)測框架，它包含了以下模型：
Vanilla LSTM (LSTM)、SimpleTransformer、Multi-Head Attention、Transformer with a linear decoder、DARNN、Transformer XL、Informer、DeepAR、DSANet 、SimpleLinearModel等等。
這是一個學(xué)習(xí)使用深度學(xué)習(xí)進(jìn)行時間預(yù)測的很好的模型代碼來源，有興趣的可以看看。
https://github.com/AIStream-Peelout/flow-forecast

總結(jié)
在過去的兩年里，我們已經(jīng)看到了Transformer在時間序列預(yù)測中的興起和可能的衰落和時間序列嵌入方法的興起，以及異常檢測和分類方面的額外突破。
但是對于深度學(xué)習(xí)的時間序列來說：可解釋性、可視化和基準(zhǔn)測試方法還是有所欠缺，因?yàn)槟Ｐ驮谀睦飯?zhí)行，在哪里出現(xiàn)性能故障是非常重要的。此外，更多形式的正則化、預(yù)處理和遷移學(xué)習(xí)來提高性能可能會在未來中出現(xiàn)。
也許Transformer對時間序列預(yù)測有好處（也許不是），就像VIT那樣如果沒有Patch的出現(xiàn)Transformer可能還會被認(rèn)為不行，我們也將繼續(xù)關(guān)注Transformer在時間序列的發(fā)展或者替代。