V posledných rokoch sa architektúra transformátora objavila ako revolučná sila v oblasti strojového učenia, pôvodne navrhnutá pre úlohy spracovania prirodzeného jazyka. Jeho schopnosti však siahajú ďaleko za hranicami textu a preukázali veľký potenciál pri manipulácii s časovými údajmi. Ako dodávateľ transformátora som nadšený, že môžem preskúmať, ako možno túto výkonnú architektúru aplikovať na analýzu času - sériu a aké výhody prináša do tabuľky.
Pochopenie času - sériové údaje
Časové - sériové údaje sú sekvenciou dátových bodov zozbieraných v po sebe nasledujúcich bodoch v čase. Prevláda v rôznych oblastiach, ako sú financie, meteorológia, zdravotníctvo a priemyselné monitorovanie. Príklady zahŕňajú ceny akcií, denné hodnoty teploty, vitálne príznaky pacientov a údaje zo senzora z výrobného zariadenia. Kľúčovou charakteristikou údajov časových sérií je časové poradie, kde každý dátový bod súvisí s predchádzajúcimi a nasledujúcimi bodmi. Táto sekvenčná povaha predstavuje pre analýzu jedinečné výzvy, ako napríklad zachytenie dlhých termínovaných závislostí, riešenie sezónnosti a presné predpovede.
Tradičné prístupy vs. transformátor
Pred príchodom transformátora zahŕňali tradičné metódy pre analýzu časovej série modely autoregresívneho integrovaného kĺzavého priemeru (ARIMA), exponenciálne vyhladenie a opakujúce sa neurónové siete (RNN), ako sú dlhá krátkodobá pamäť (LSTM) a GATED RECICRENTNE UNITS (GRU).
Modely ARIMA sú založené na lineárnych predpokladoch a sú vhodné pre stacionárne údaje o časových sériách. Spoliehajú sa na minulé hodnoty, aby predpovedali budúce hodnoty, ale zápasia s ne -lineárnymi vzormi a dlhoročnými závislosťami. Metódy exponenciálneho vyhladenia priraďujú exponenciálne znižujúce sa hmotnosti predchádzajúcich pozorovaní, ktoré sú účinné pre krátkodobé predpovedanie, ale nemusia zachytiť zložité trendy.
RNN, najmä LSTM a GRU, boli navrhnuté tak, aby zvládli sekvenčné údaje udržiavaním skrytého stavu, ktorý dokáže v priebehu času prenášať informácie. Trpia však problémom s miznúcim gradientom, ktorý sťažuje učenie sa dlho - termínových závislostí. Keď sa dĺžka sekvencie zvyšuje, výkon RNN sa výrazne degraduje.
Naopak, architektúra transformátora, zavedená v článku „Pozornosť je všetko, čo potrebujete“ od Vaswani et al. V roku 2017 tieto obmedzenia prekonáva. Používa mechanizmus sebapoznania, ktorý mu umožňuje zachytiť vzťahy medzi akýmikoľvek dvoma pozíciami v poradí bez ohľadu na ich vzdialenosť. To znamená, že transformátor môže účinne modelovať dlhé - termínované závislosti v časových údajoch bez toho, aby mizol problém s gradientom.
Ako transformátor spracováva časové - sériové údaje
Kódovanie času - séria
Prvým krokom pri použití transformátora pre dáta časových sérií je kódovanie vstupnej sekvencie. Každý dátový bod v sérii Time - je zvyčajne znázornený ako vektor. Do týchto vektorov sa potom pridá pozičné kódovanie, aby sa poskytlo informácie o poradí dátových bodov v poradí. Je to rozhodujúce, pretože transformátor, na rozdiel od RNN, spracováva celú sekvenciu paralelne a nemá vlastný zmysel pre polohu.
Pozičné kódovanie môže byť pevnou funkciou sínusov a kosínus, ako je opísané v pôvodnom papieri transformátora. Tieto funkcie pridávajú do každej polohy jedinečný vzor v sekvencii, čo umožňuje modelu rozlišovať medzi rôznymi časovými krokmi.
Mechanizmus pozornosti
Jadrom transformátora je mechanizmus pozornosti. Vzhľadom na vstupnú sekvenciu vektorov vypočíta sebaposkytovanie váženého súčtu týchto vektorov, aby reprezentovala každú polohu v sekvencii. Hmotnosti sú určené podobnosťou medzi vektormi dotazu, kľúča a hodnoty.
V kontexte údajov o časových sériách mechanizmus sebaposlednej pozornosti umožňuje modelu zamerať sa na rôzne časti sekvencie pri predpovedi. Napríklad pri predpovedaní ďalšej hodnoty v sérii ceny akcií - model môže venovať väčšiu pozornosť príslušným historickým cenám, ako sú ceny z toho istého dňa v týždni alebo ceny počas podobného trendu na trhu.
Mechanizmus sebapoznania možno vyjadriť takto:
[Pozor (q, k, v) = softmax (\ frac {qk^{t}} {\ sqrt {d_ {k}}}) v]
kde (q) je matica dotazu, (k) je matica kľúčov, (v) je matica hodnoty a (d_ {k}) je rozmer vektorov kľúčov.
VIAC - HLAVNÁ POZOR
Na zachytenie rôznych typov vzťahov v sérii Time Transformer využíva viacnásobnú pozornosť hlavy. Namiesto jedného mechanizmu sebapoznania sa paralelne aplikuje viac hláv sebapoznania. Každá hlava sa zameriava na rôzne aspekty sekvencie a výstupy všetkých hláv sú zreťazené a potom lineárne transformované.
Pozornosť s viacerými hlavami umožňuje modelu naučiť sa rôzne vzorce v údajoch o časových sériách. Napríklad jedna hlava by sa mohla zamerať na krátkodobé trendy, zatiaľ čo iná hlava by mohla zachytiť dlhoročnú sezónnosť.
Dekodér na predpoveď
V úlohe predikcie v časovej sérii sa transformátor môže použiť postupne - na sekvenčný spôsob. Kodér spracováva vstupný čas - séria a dekodér generuje predpokladané hodnoty. Dekodér tiež využíva vlastnú pozornosť a krížové mechanizmy pozornosti. Pozornosť v dekodéri je maskovaná, aby sa zabezpečilo, že model používa minulé informácie iba pri predpovedi. Kríž - Pozornosť umožňuje dekodéru venovať sa výstupu kódovača, ktorý obsahuje informácie o vstupnej sekvencii.
Výhody použitia transformátora pre časové údaje - sériové údaje
Modelovanie dlhej - termínovej závislosti
Jednou z najvýznamnejších výhod transformátora je jeho schopnosť modelovať dlhoročné závislosti v časových údajoch. Použitím mechanizmu pozornosti môže model zachytiť vzťahy medzi vzdialenými dátovými bodmi, čo je rozhodujúce pre presné dlhodobé predpovedanie.
Paralelné spracovanie
Na rozdiel od RNN, ktoré postupne spracúvajú sekvencie, transformátor môže paralelne spracovať celú sekvenciu. To vedie k rýchlejšiemu tréningu a odvodeniu, najmä pre dlhé sekvencie.
Prispôsobiteľnosť na ne -lineárne vzory
Transformátor je ne -lineárny model, ktorý sa dokáže prispôsobiť komplexným, ne -lineárnym vzorom v časových sériách. Z údajov sa môže poučiť bez silných predpokladov o základnej distribúcii, vďaka čomu je vhodný pre širokú škálu aplikácií.
Aplikácie v rôznych odvetviach
Financovať
Vo finančnom priemysle sú údaje o čase - sériové údaje, ako sú ceny akcií, výmenné kurzy a úrokové sadzby. Transformátor sa môže použiť na predpoveď ceny akcií, hodnotenie rizika a optimalizáciu portfólia. Zachytením dlhodobých trhových trendov a ne -lineárnych vzťahov môže poskytnúť presnejšie predpovede ako tradičné metódy.
Zdravotná starostlivosť
V zdravotníctve, údaje o časových sériách zahŕňajú vitálne príznaky pacientov, výsledky lekárskych testov a progresiu ochorenia. Transformátor sa môže použiť na včasnú detekciu chorôb, monitorovanie pacientov a plánovanie liečby. Napríklad môže predpovedať pravdepodobnosť, že pacient vyvinie určitú chorobu na základe svojich historických údajov o zdraví.
Priemyselné monitorovanie
V priemyselných nastaveniach je možné na prediktívnu údržbu použiť údaje o časových - sériových údajoch zo senzorov na výrobnom zariadení. Transformátor môže analyzovať údaje senzora na detekciu anomálií a predpovedať poruchy zariadenia skôr, ako dôjde, čím sa zníži náklady na prestoje a náklady na údržbu.
Naše produkty transformátora
Ako dodávateľ transformátora ponúkame celý rad vysokokvalitných transformátorov vhodných pre rôzne aplikácie. NášTrojfázový prepätie - odolný transformátorje navrhnutý tak, aby odolal podmienkam prepätia a zabezpečil spoľahlivú prevádzku v tvrdých prostrediach. TenVysoký - účinný transformátor distribúcie fázje optimalizovaný pre energetickú účinnosť, znižuje straty energie a úspory nákladov. NášLong - Life Oil - Plnený transformátor mriežkyje postavený na dlhodobé použitie v elektrickej sieti, ktorá poskytuje stabilný zdroj energie.
Kontaktujte nás pre nákup
Ak máte záujem používať naše produkty Transformer pre svoju časovú analýzu údajov alebo iné aplikácie, pozývame vás, aby ste nás kontaktovali na podrobnú diskusiu. Náš tím odborníkov vám môže pomôcť zvoliť si správny transformátor pre vaše konkrétne potreby a poskytnúť technickú podporu počas celého procesu.
Odkazy
Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). Pozornosť je všetko, čo potrebujete. Pokroky v systémoch spracovania neurálnych informácií,
