Optimalizační kód zvyšuje výkon 5x

Tato technologie vyvinutá ve spolupráci s Intelem, Microsoftem a Washingtonskou univerzitou vedenou společností KAUST může dramaticky urychlit strojové učení na paralelních výpočetních systémech. Půjčka: © 2021 KAUST; Anastasia Serinová

Optimalizace komunikace v síti zrychluje trénink ve velkých modelech strojového učení.

Instalace odlehčeného optimalizačního kódu na vysokorychlostní síťová zařízení umožnila spolupráci vedené společností KAUST pětkrát zvýšit rychlost strojového učení na paralelních výpočetních systémech.

Tato technologie „síťové integrace“ vyvinutá s Intelem, Microsoftem, Microsoft Researchers, System Architects University of Washington, může poskytnout dramatická vylepšení rychlosti pomocí dostupného programovatelného síťového vybavení.

Základní výhodou umělé inteligence (AI), která jí dává tolik síly k „porozumění“ a interakci se světem, je krok strojového učení, při kterém je model trénován pomocí velké sbírky označených tréninkových dat. Čím více dat bude v AI trénováno, tím lépe bude model fungovat pod vlivem nových záznamů.

Nejnovější rozmach aplikací AI je způsoben hlavně lepším strojovým učením, používáním větších modelů a rozmanitějšími databázemi. Provádění výpočtů strojového učení je však obrovským úkolem zdanění, který se stále více spoléhá na velké množství počítačů, které paralelně používají algoritmus učení.

„Jak udělat modely hlubokého učení ve velkém měřítku je velmi obtížný úkol,“ říká Marco Canini z výzkumného týmu KAUST. „Modely AI se mohou skládat z miliard parametrů, můžeme použít stovky procesorů, které musí paralelně fungovat efektivně. V takových systémech se komunikace mezi procesory snadno stává hlavním dorazem během postupné aktualizace modelu.

Tým našel potenciální řešení v nové síťové technologii vyvinuté společností Intel Division Barefoot Networks.

„Používáme nově programovatelná síťová zařízení datových letadel Barefoot Networks k vyložení některých prací během školení vyložených strojů,“ vysvětluje Amedeo Sapio, absolvent KAUST, který se od té doby připojil k týmu Intel Barefoot Networks.: „Používání tohoto nového programovatelného síťového vybavení, nejen sítě, k přenosu dat znamená, že můžeme provádět výpočty po síti.“

Hlavní inovací týmové platformy SwitchML je, že síťové zařízení může provádět úlohu konsolidace dat v každé fázi synchronizace při aktualizaci modelu procesu strojového učení. Toto vykládání není jen součástí odhadovaného zatížení, ale také významně snižuje objem přenosu dat.

„I když programovatelný datový plán přepínače může fungovat velmi rychle, akce, které může provést, jsou omezené,“ říká Canini. „Naše řešení by tedy mělo být dostatečně jednoduché pro hardware, ale zároveň dostatečně flexibilní, aby vyřešilo problémy, jako je omezená paměť na desce. „SwitchML řeší tuto výzvu společným návrhem algoritmu distribuovaného učení, který zrychlí na 5,5násobek moderního přístupu.“

Odkaz. „Rozsáhlé distribuční strojové učení prostřednictvím agregace sítí“ Amedeo Sapio, Marco Canini, Chen-Yu Ho, Jacob Nelson, Panos Kalnis, Changhoon Kim, Arvind Krishnamurthy, Masoud Moshref, Dan Ports a Peter Richtarik, duben 2021 18. sympozium USENIX o designu a implementaci přechodových systémů EN (NSDI ’21),
Odkaz

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Houby mohou léčit bakterie a obohatit půdu o živiny

Aeroskulární mykorhizní houby se rozprostírají přes dlouhé vláknité struktury zvané krásně až k zemi. Krásy, menší než lidské vlasy, lze vidět mezi kořeny...

Světlo zapíná barvy a vzory objektů

Nový systém využívá ultrafialové světlo, které se promítá na objekty natřené barvou aktivující světlo, ke změně reflexních vlastností barvy a vytváření obrazů během několika...

Ne! Je pravděpodobnější, že žádosti o půjčku zpracované kolem poledne budou zamítnuty

Úředníci bankovních půjček pravděpodobněji budou schvalovat žádosti o půjčky dříve a později během dne, zatímco „únava z rozhodování“ kolem poledne je spojena s nedodržováním...

Náročné modely před oddělením v Bothnian Bay

19. dubna 2021 Mořský led na severu Baltského moře vykazuje některé přesvědčivé vzory, než se na jaře roztaví a setře. Na rozdíl od mořského ledu, který...

Výjimečná biologická rozmanitost ve 14,7 milionu let starém tropickém deštném pralese a osvětluje vývoj

Ekologická rekonstrukce bioty Zhangpu. Obrazový kredit: NIGPAS Nově objevený miocénní biom osvětluje vývoj deštného pralesa Mezinárodní výzkumná skupina vedená profesorem WANG Bo a profesorem SHI...

Newsletter

Subscribe to stay updated.