Používání umělé inteligence k vytváření 3D hologramů v reálném čase prostřednictvím smartphonu

Vědci z MIT vyvinuli způsob výroby hologramů téměř okamžitě. Říkají, že metoda hlubokého učení je tak efektivní, že ji lze spustit na smartphonu. Půjčka Obrázek: Zprávy MIT s obrázky z iStockphoto

K vytváření hologramů pro virtuální realitu, 3D tisk, lékařské snímky atd. Lze použít novou metodu nazvanou tenzorová holografie. Lze ji provozovat na smartphonu.

Přes roky skandálu musejí náhlavní soupravy pro virtuální realitu stále ničit obrazovky televizorů nebo počítačů jako zařízení sloužící ke sledování videa. Jedním z důvodů. VR může uživatelům způsobit nevolnost. Může dojít k namáhání očí as, protože VR vytváří iluzi 3D sledování, i když se uživatel ve skutečnosti dívá na 2D obrazovku na pevnou vzdálenost. Lepší 3D zobrazovací řešení by mohlo spočívat v 60 let staré hologramové technologii pro digitální svět.

Hologramy poskytují jedinečné znázornění 3D světa kolem nás. Kromě toho jsou krásné. (Pokračujte – zkontrolujte holografického holuba na kartě Visa.) Hologramy naznačují změnu perspektiv na základě pozice diváka, և umožňují oku upravit hloubku ostrosti střídavým zaměřením na popředí :.

Vědci se již dlouho snažili vytvářet počítačové hologramy, ale tento proces obvykle vyžadoval rotaci superpočítače fyzikálními modely, což je časově náročné a může přinést méně než fotorealistické výsledky. Nyní, S: Vědci vyvinuli nový způsob výroby hologramů za téměř sekundu. և Metoda hloubkového učení je tak účinná, že může na notebooku fungovat jediným mrknutím oka.

Experimentální zobrazení 2D և 3D holografické projekce

Tento obrázek ukazuje experimentální zobrazení 2D և 3D holografické projekce. Fotografie vlevo je vycentrována na myší hračku (ve žlutém rámečku), která je blízko fotoaparátu, a ta ve středu je zaměřena na věčný kalendář (v modrém rámečku). Půjčka S pozdravem, vědci

„Lidé si dříve mysleli, že je nemožné provádět výpočty 3D holografie v reálném čase se současným spotřebním vybavením,“ řekl Liang Shin, hlavní autor studie na katedře elektrotechniky (EECS) MIT. „Často se říkalo, že komerční holografické displeje budou k dispozici za 10 let, ale toto oznámení existuje už desítky let.“

Sheen věří, že nový přístup, který tým nazývá „tenzorovou holografií“, konečně dosáhne tohoto nepochopitelného desetiletého cíle. Propagace může pomoci rozšířit holografii do oblastí, jako je 3D tisk VR և.

Shin pracoval na studii publikované 10. března 2021 Příroda:spolu s jeho spoluautorem Wojciechem Matusikem. Mezi další spoluautory patří Beichen Lee z EECS գիտ Computer Science և Artificial Intelligence Laboratory na MIT, stejně jako bývalí vědci MIT Changil Kim (nyní Facebook) և Petr Kellnhofer (nyní Stanford University):

Hledejte lepší 3D

Typická fotografie založená na objektivu kóduje jas každé světelné vlny. Fotografie dokáže věrně reprodukovat barvy scény, ale nakonec poskytne plynulý obraz.

Naproti tomu hologram kóduje fázi „jasu“ každé světelné vlny. Tato kombinace přesněji vystihuje rovnoběžnost a hloubku scény. Zatímco fotka Monet’s Water Lilies může odrážet barevnou chuť obrazů, hologram může práci zintenzivnit, takže každý tah štětce bude mít jedinečnou 3D texturu. Ale navzdory jejich realističnosti byly hologramy vyzvány ke sdílení.

První hologramy, které byly poprvé vyvinuty v polovině 20. století, byly zaznamenány opticky. Chcete-li to provést, musíte rozdělit laserový paprsek, polovinu paprsku použitého k osvětlení objektu a druhou polovinu jako odkaz na fázi světelných vln. Tento odkaz vytváří pocit jedinečné hloubky hologramu. Výsledné obrázky byly statické, takže nemohly zachytit pohyb. A byly pouze v tisku, což znesnadňovalo jejich reprodukci a distribuci.

Počítačem generovaná holografie tyto výzvy obchází simulací optického umístění. Tento proces však může být heslem. „Protože každý bod ve scéně má jinou hloubku, nemůžete udělat totéž pro každého,“ říká Shin. „Výrazně to zvyšuje složitost.“ Nasměrování clusterového superpočítače na provádění simulací založených na této fyzice může na holografický obraz trvat sekundy nebo minuty. Stávající algoritmy navíc nemodelují uzavření s fotorealistickou přesností. Tým Shi tedy ukázal jiný přístup. Umožnění počítači učit se fyziku.

Využili hloubkové školení k urychlení počítačové holografie vytvořením hologramu v reálném čase. Tým vyvinul konvoluční neuronovou síť, techniku ​​zpracování, která využívá řadu trénovaných senzorů k napodobení toho, jak lidé zpracovávají vizuální informace. Výcvik neuronové sítě obvykle vyžaduje velkou a vysoce kvalitní databázi, která pro 3D hologramy dříve neexistovala.

Tým vytvořil individuální databázi 4 000 párů počítačových obrázků. Každá dvojice odpovídala obrazu, včetně barevných a hloubkových informací pro každý pixel, s odpovídajícím hologramem. K vytvoření hologramů v nové databázi vědci použili scény od komplexních և proměnných tvarů և barev, od rovnoměrně rozloženého pozadí pixelů do popředí, stejně jako novou sadu výpočtů založených na fyzice k regulaci okluze. Výsledkem tohoto přístupu bylo získání fotorealistických tréninkových dat. Dále začal fungovat algoritmus.

Učení z každého obrazového páru upravila tenzorová mřížka parametry výpočtu a následně zvýšila svoji schopnost vytvářet hologramy. Plně optimalizovaná síť zpracovávala vyšší rychlostní objednávky než výpočty založené na fyzice. Tato účinnost jejich tým překvapila.

„Jsme ohromeni, jak dobře to jde,“ říká Matusik. Desítková holografie v milisekundách může generovat hologramy podrobných informací poskytovaných typickými počítačovými obrazy, které se počítají z multifokálního nastavení nebo senzoru LiDAR (oba standardy u některých novějších smartphonů). Tento pokrok připravuje cestu pro 3D holografii v reálném čase. Kompaktní tenzorová síť navíc vyžaduje méně než 1 MB paměti. „Vzhledem k desítkám až stovkám gigabajtů nejnovějšího mobilního telefonu je to bezvýznamné,“ řekl.

Studie „ukazuje, že skutečné 3D holografické displeje jsou praktické a mají jen mírné výpočetní požadavky,“ uvedl Elwell Collin, hlavní optický architekt společnosti Microsoft, který se studie nezúčastnil. Dodává, že „tento dokument ukazuje významné zlepšení kvality obrazu ve srovnání s předchozí prací“, což „zvýší realističnost a pohodlí pro diváka“. Collin také naznačuje možnost, že takové holografické displeje mohou být dokonce přizpůsobeny očnímu předpisu diváka. „Holografické indikátory mohou korigovat oční aberace. „To umožňuje, aby byl zobrazený obraz ostřejší než to, co by uživatel mohl vidět pomocí kontaktů nebo brýlí, které opravují pouze slabé aberace, například zaostřovací astigmatismus.“

“Rable nadcházející let”

3D holografie v reálném čase vylepší řadu systémů, od VR až po 3D tisk. Tým říká, že nový systém může pomoci ponořit diváky VR do realističtějších scenérií a zároveň eliminovat namáhání očí a další vedlejší účinky dlouhodobého používání VR. Tuto technologii lze snadno nainstalovat na displeje, které mění fázi světelných vln. V současné době nejdostupnější displeje na úrovni spotřebitele modulují pouze jas, i když budou široce přijímány, náklady na displeje s fázovou modulací se sníží.

Vědci tvrdí, že trojrozměrná holografie může urychlit vývoj 3D tisku. Tato technologie může být rychlejší a přesnější než tradiční 3D tisk po vrstvách, protože 3D tisk umožňuje promítat celý 3D vzor najednou. Mezi další aplikace patří mikroskopie, lékařské zobrazování a vytváření povrchů s jedinečnými optickými vlastnostmi.

„Je to významný skok, který může zcela změnit postoj lidí k holografii,“ říká Matusik. „Cítíme, že neurální sítě se zrodily pro tento problém.“

Odkaz. Liang Shi, Beichen Lee, Changil Kim, Peter Kelnhofer և Wojciech Matusik, „Fotorealistická 3D holografie v reálném čase pro hluboké neurální sítě“, 2021. 10. března Příroda:,
DOI: 10.1038 / s41586-020-03152-0:

Webové stránky projektu. Tenzorová holografie

Práce byla částečně podporována společností Sony.

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Líheň je otevřená, stanici zabírá 10 členů posádky

Nově přidaný personál stanice, který se skládal z 10 členů, se shromáždil v servisní jednotce Zvezda, aby uspořádali uvítací ceremoniál s rodinnými příslušníky a...

Chronické virové infekce mohou mít hluboký trvalý účinek na imunitu člověka, podobně jako stárnutí

Analýza topologie sítě funkce imunitního systému představující desítky integrovaných buněčných odpovědí, které jsou během odstraňování viru hepatitidy C u lidí obráceny. Zkoumané signální...

Byly odhaleny bizarní dýchací orgány 450 milionů let starých mořských živočichů

Zápočet: UCR Trilobité měli při dýchání jednu nohu Nová studie našla první důkazy o vysoce vyvinutých dýchacích orgánech u mořských živočichů starých 450 milionů let. ...

První objev oceánských proudů pod „ledovcem Doomsday“ vyvolává obavy

Poprvé se vědcům podařilo získat data zpod ledovce Thwaites, známého také jako „ledovec Doomsday“. Zjistili, že přívod teplé vody k ledovci byl větší,...

“Čmáranice světla” v reálném čase

Vědci z Tokijské metropolitní univerzity vyvinuli zjednodušený algoritmus pro převod volně nakreslených čar na standardním stolním procesoru na hologramy. Dramaticky snižují náklady na...

Newsletter

Subscribe to stay updated.