Algoritmus hlubokého učení MIT najde skryté varovné signály v dimenzích shromážděných v průběhu času

Výzkumníci MIT vyvinuli algoritmus hloubkového učení pro detekci anomálií dat časových řad. Půjčka: zprávy MIT

Nový algoritmus hloubkového učení může poskytnout pokročilé upozornění, když se systémy ze satelitů do datových center vynoří z trosek.

Když jste zodpovědní za cestování tisíce kilometrů za hodinu v prostoru mnohamilionového satelitu, chcete se ujistit, že funguje hladce. A časové osy mohou pomoci.

Časová řada je jednoduše měření provedené mnohokrát v průběhu času. Může to vést k dlouhodobým krátkodobým poruchám systému. Jako příklady lze uvést nechvalně známou Covid-19 New Incident և Keeling Curve, která sleduje koncentrace oxidu uhličitého v atmosféře od roku 1958. V době velkých dat se „časová řada hromadí v celém prostoru, od satelitů po turbíny“. Kalyan Veremachanen. „Celé toto zařízení má senzory, které snímají tyto časové řady toho, jak fungují.“

Ale analýza těchto časových řad a označení anomálních datových bodů v nich může být obtížné. Data mohou být hlučná. Pokud satelitní operátor uvidí řadu údajů o vysoké teplotě, jak zjistí, zda se jedná o neškodnou oscilaci nebo známku přehřátí satelitu?

To je úkol společnosti Veeramachaneni, která vede skupinu Data-to-AI S:Laboratoř informačních a rozhodovacích systémů doufá, že to vyřeší. Tým vyvinul novou, hloubkovou metodu učení pro identifikaci nesrovnalostí v časových řadách. Jejich přístup, nazvaný TadGAN, šel nad rámec konkurenčních metod; mohl by operátorům pomoci detekovat և reagovat na velké změny v řadě vysoce hodnotných systémů, od vesmírného satelitu po farmu počítačového serveru s bzučákem.

Studie bude představena na konferenci IEEE BigData, která se koná tento měsíc. Autoři deníku jsou členové skupiny Data-to-AI Veeramachaneni, Postdoc Dongyu Liu, hostující student Alexander Geiger, studentka magisterského studia Sara Alneghemish, stejně jako Alfredo Questa-Infante ze španělské univerzity Ray Juan Carlos.

Vysoké sázky

U komplexního systému, jako je satelit, musí být analýza časových řad automatizovaná. Satelitní společnost Sera, která spolupracuje s Veeramachaneni, přijímá ze svých komunikačních satelitů záplavu časových řad – asi 30 000 jedinečných parametrů každé kosmické lodi. V kontrolní místnosti SES mohou lidští operátoři sledovat pouze některé z těchto časových řad, když blikají na obrazovce. U ostatních se spoléhají na signalizační systém, který stanoví hodnoty mimo hranice. „Takže nám řekli:‚ Můžeš se cítit lépe? ‘“Řekl Veramamanen. Společnost chtěla, aby její tým použil důkladné školení k analýze všech těchto časových řad և k označení neobvyklého chování.

Sázky na tento požadavek jsou vysoké. Pokud algoritmus hloubkového učení nezjistí anomálii, může týmu uniknout příležitost situaci napravit. Pokud však vyvolá poplach pokaždé, když se v datech objeví bzučivý bod, recenzenti ztratí čas tím, že budou neustále kontrolovat algoritmus křičícího vlka. „Takže máme tyto dvě výzvy,“ řekl Lew. „A musíme je vyvážit.“

Místo nastavení této rovnováhy výhradně pro satelitní systémy se tým snažil vytvořit obecnější rámec pro detekci anomálií, který by mohl být použit pro všechna průmyslová odvětví. Obrátili se na systémy hloubkového učení zvané generativní nepřátelské sítě (GIS), které se často používají pro analýzu obrazu.

GAN se skládá z dvojice neuronových sítí. Jedna síť, „generátor“, vytváří falešné obrazy a druhá, „diskriminace“, zpracovává obrázky a snaží se zjistit, zda se jedná o skutečné obrazy, nebo o falešné generátory. Během mnoha fází tohoto procesu se generátor učí lekci ze zpětnovazební smyčky a ovládá hyperrealistické padělání. Tato technika je považována za výcvik „bez dozoru“, protože nevyžaduje sadu datových sad, kde jsou obrázky označeny jejich předměty. (Velké označené databáze je těžké najít).

Tým přizpůsobil tento přístup GAN datům časových řad. „Z této tréninkové strategie může náš model zjistit, které datové body jsou normální a které abnormální,“ říká Lew. Dělá to tak, že kontroluje nesrovnalosti v sérii v reálném čase և mezi falešnými časovými řadami získanými GAN ՝ ohledně možných anomálií. Tým však zjistil, že samotné GHG nestačí k detekci anomálií v časové řadě, protože by mohly být krátké v přesné části přesné časové řady, s níž měly být padělky srovnávány. Ve výsledku „pokud používáte pouze GAN, získáte velmi falešně pozitivní výsledky,“ říká Veeramachaneni.

Aby se tým vyhnul falešným poplachům, tým doplnil svůj GAN algoritmem zvaným automatické kódování, což je další metoda bez důkladného tréninku. Na rozdíl od tendence GAI plakat vlky, auto opraváři pravděpodobně přijdou o skutečné anomálie. To je způsobeno skutečností, že autoopraváři mají tendenci mít v časové řadě příliš mnoho nesrovnalostí, někdy interpretují skutečné anomálie jako neškodné výkyvy – problém „vyzbrojení“. V kombinaci s GAN s automatickým sledováním vyvinuli vědci systém detekce anomálií, který vytvořil dokonalou rovnováhu. TadGAN je ostražitý, ale nezpůsobuje velmi falešné poplachy.

Postavte se zkoušce časových řad

TadGAN navíc vyhrál soutěž. Tradiční přístup k předpovědi časových řad IM, nazvaný ARIMA, byl vyvinut v 70. letech. „Chtěli jsme zjistit, jak daleko jsme přišli. Mohou modely hlubokého učení skutečně vylepšit tuto klasickou metodu?“ Říká Alneghemish.

Tým provedl testy detekce anomálií na 11 databázích, přičemž ARIMA použil jako jednu ze sedmi dalších metod TadGAN, včetně těch vyvinutých společnostmi jako Amazon a Microsoft. U osmi z 11 databází překonal TadGAN v detekci anomálií ARIMA. Druhý nejlepší algoritmus vyvinutý společností Amazon porazil ARIMA pouze u šesti databází.

Alneghemish zdůraznil, že jejich cílem bylo nejen vyvinout algoritmus pro detekci anomálií na vysoké úrovni, ale také učinit jej široce použitelným. „Všichni víme, že AI trpí reprodukčními problémy,“ říká. Tým bezplatně zpřístupnil kód TadGAN a pravidelně jej aktualizuje. Kromě toho vyvinuli pro uživatele srovnávací systém pro porovnávání výkonu různých modelů detekce anomálií.

„Toto měřítko je open source, takže to může vyzkoušet kdokoli. „Pokud selžou, mohou přidat svůj vlastní model,“ řekl Alneghemish. „Chceme zmírnit zkreslení související s AI, které nelze reprodukovat. Chceme zajistit, aby bylo všechno zdravé. “

Veeramachaneni doufá, že TadGAN bude jednou sloužit široké škále průmyslových odvětví, nejen satelitním společnostem. Lze jej například použít ke sledování výkonu počítačových aplikací, které jsou klíčem k moderní ekonomice. „Mám 30 programů pro provoz laboratoře. „Zoom, Slack, Github – pojmenujete to, já to mám,“ říká. „A počítám s tím, že všichni budou neúnavně pracovat navždy.“ Totéž platí pro miliony uživatelů po celém světě.

TadGAN může pomoci společnostem, jako je Zoom, sledovat signály časových řad v jejich datovém centru, jako je využití CPU nebo teplota, aby pomohl předcházet výpadkům služeb, které by mohly ohrozit podíl společnosti na trhu. V budoucnu tým plánuje zabalit uživatelské rozhraní TadGAN, aby pomohl poskytnout nejaktuálnější analýzu časových řad každému, kdo to potřebuje.

Odkaz. „TadGAN: Alexander Geiger, Dongyu Liu, Sarah Alneghamish, Alfredo Questa-Infante և Kalyan Vereamachaneni“ Detekce anomálií časových řad řady pomocí běžných generujících protivnických sítí “, 2020. 14. listopadu Výpočetní technika> Strojové učení,
arXiv: 2009.07769:

Tento výzkum byl financován a dokončen společně se SES.

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Houby mohou léčit bakterie a obohatit půdu o živiny

Aeroskulární mykorhizní houby se rozprostírají přes dlouhé vláknité struktury zvané krásně až k zemi. Krásy, menší než lidské vlasy, lze vidět mezi kořeny...

Světlo zapíná barvy a vzory objektů

Nový systém využívá ultrafialové světlo, které se promítá na objekty natřené barvou aktivující světlo, ke změně reflexních vlastností barvy a vytváření obrazů během několika...

Ne! Je pravděpodobnější, že žádosti o půjčku zpracované kolem poledne budou zamítnuty

Úředníci bankovních půjček pravděpodobněji budou schvalovat žádosti o půjčky dříve a později během dne, zatímco „únava z rozhodování“ kolem poledne je spojena s nedodržováním...

Náročné modely před oddělením v Bothnian Bay

19. dubna 2021 Mořský led na severu Baltského moře vykazuje některé přesvědčivé vzory, než se na jaře roztaví a setře. Na rozdíl od mořského ledu, který...

Výjimečná biologická rozmanitost ve 14,7 milionu let starém tropickém deštném pralese a osvětluje vývoj

Ekologická rekonstrukce bioty Zhangpu. Obrazový kredit: NIGPAS Nově objevený miocénní biom osvětluje vývoj deštného pralesa Mezinárodní výzkumná skupina vedená profesorem WANG Bo a profesorem SHI...

Newsletter

Subscribe to stay updated.