„Thought Writing“ – Software schopný přeměnit ručně psané myšlenky na slova a věty

Software Stanford Scientists mění mentální rukopis na slova a věty na obrazovce.

Říkejte tomu „mentální myšlení“.

Kombinace duševního úsilí a nejmodernější technologie umožnila osobě s paralyzovanými orgány komunikovat prostřednictvím textu rychlostí, která konkuruje těm, kterých dosáhli jeho kompetentní přátelé, kteří píší na smartphone.

Vědci ze Stanfordské univerzity připojili software umělé inteligence k zařízení zvanému rozhraní mozek-počítač, které bylo implantováno do mozku osoby s úplnou paralýzou těla. Tento software dokázal dekódovat informace z BCI a rychle převést myšlenky člověka na rukopis na text na obrazovce počítače.

Muž dokázal pomocí tohoto přístupu psát dvakrát rychleji, než mohl použít dřívější metodu vyvinutou stanfordskými vědci, kteří o těchto zjištěních informovali v roce 2017 v časopise eLife.

Nová zjištění budou zveřejněna online dnes (12. května 2021) b Příroda, Mohl by povzbudit další pokrok prospěšný stovkám tisíc Američanů a milionů po celém světě, kteří ztratili používání horních končetin nebo schopnost mluvit kvůli poranění míchy, mozkové mrtvici nebo amitrofické laterální skleróze, známé také jako Lou Griegova choroba, uvedl Jamie Henderson, profesor neurochirurgie.

„Tento přístup umožnil osobě s paralýzou skládat věty téměř stejně rychle jako věty dospělých ve stejném věku, kteří psali na chytrém telefonu,“ uvedli Henderson, John a Gene Bloom – profesor Robert a Ruth Halperinovi. „Cílem je obnovit schopnost komunikovat prostřednictvím textu.“

Účastník studie vytvořil text rychlostí přibližně 18 slov za minutu. Pro srovnání, kvalifikovaní lidé stejného věku mohou na smartphonu zasáhnout přibližně 23 slov za minutu.

Účastník, známý jako T5, ztratil v roce 2007 téměř veškerý pohyb pod krkem kvůli poranění páteře. O devět let později umístil Henderson na levé dva čipy rozhraní mozek-počítač, každý o velikosti dětského aspirinu. Strana mozku T5. Každý čip má 100 elektrod, které přijímají signály z neuronů, které střílí v části motorické kůry – nejvzdálenější povrch mozku -, která řídí pohyb rukou.

Stejné neurální signály jsou vysílány po vodičích do počítače, kde algoritmy umělé inteligence dekódují signály a zvyšují zamýšlený pohyb rukou a prstů T5. Algoritmy byly navrženy ve Stanfordské laboratoři pro překlad neurální protetiky pod společným dohledem Hendersona a Krishny Shnui, Ph.D., profesora elektrotechniky a profesora inženýrství na Hong Se Vivian WM Lim.

Shani a Henderson, kteří spolupracují na BCI od roku 2005, jsou hlavními autory nové studie. Hlavním autorem je Frank Wilt, Ph.D., vědecký pracovník v laboratoři a na Howard Hughes Medical Institute.

„Dozvěděli jsme se, že mozek si zachovává schopnost určovat jemné pohyby po celé desetiletí poté, co tělo ztratilo schopnost tyto pohyby provádět,“ řekl Wilt. „A naučili jsme se, že algoritmy umělé inteligence, které používáme, mohou interpretovat komplikované zamýšlené pohyby, které zahrnují různé rychlosti a zakřivené cesty, jako je rukopis, než jednodušší schopnosti pohybů, jako je pohyb po přímé značkové cestě konstantní rychlostí. , takže je snazší rozlišit. “

Ve studii z roku 2017 byli tři účastníci s paralýzou končetin, včetně T5 – všichni s BCI v motorické kůře – požádáni, aby se soustředili pomocí paže a ruky k pohybu kurzoru z jedné klávesy na druhou na displeji klávesnice na obrazovce počítače. Poté se zaměřte na kliknutí na tento klíč.

V této studii nastavila T5 dosud rekord všech dob: kopírování vět zobrazených rychlostí asi 40 znaků za minutu. Další účastnice studie dokázala psát náhodně a zvolit slova, která chtěla, rychlostí 24,4 znaků za minutu.

Pokud bylo paradigma, které bylo základem studie v roce 2017, paralelní s psaní na stroji, je model pro novou studii přírody paralelní s rukopisem. T5 se soustředil na pokus o napsání jednotlivých písmen abecedy na imaginární právní tabuli imaginárním perem, a to navzdory své neschopnosti hýbat rukou nebo rukou. Každé písmeno opakoval 10krát, což umožnilo softwaru „naučit se“ rozpoznávat nervové signály spojené s jeho snahou napsat toto konkrétní písmeno.

Ve velkém počtu několika relací po několika hodinách byly T5 prezentovány skupiny vět a byly instruovány, aby vynaložily mentální úsilí, aby každou z nich „napsaly“. Není velké. Příklady vět byly: „Přerušil jsem, nemohl jsem mlčet,“ a „Do třiceti sekund armáda přistála.“ Postupem času algoritmy zlepšily svou schopnost rozlišovat mezi vzory neuronového snímání, které charakterizují různé postavy. Interpretace algoritmů pro celé písmeno T5, které se pokoušela napsat, se objevila na obrazovce počítače po zhruba půlsekundové prodlevě.

V dalších relacích byl T5 instruován, aby kopíroval věty, kterým nebyly algoritmy nikdy vystaveny. Nakonec dokázal vytvořit 90 znaků, tedy asi 18 slov, za minutu. Později, když byl požádán, aby odpověděl na otevřené otázky, které vyžadovaly určité provokativní pauzy, vygeneroval 73,8 znaků (průměrně téměř 15 slov) za minutu, čímž ztrojnásobil předchozí záznam ve volné formě stanovený ve studii z roku 2017.

Míra chybovosti kopírování věty T5 byla přibližně jedna chyba za každých 18 nebo 19 znaků, které vyzkoušeli. Chybová sazba jeho volného složení byla přibližně jedna z každých 11 nebo 12 znaků. Když vědci použili funkci automatické opravy poté, co to – podobně jako u našich klávesnic smartphonů – uklidili, byly tyto míry chyb výrazně nižší: pod 1% pro kopírování a mírně více než 2% pro volný styl.

Tato míra chyb je ve srovnání s ostatními pacienty s BCI poměrně nízká, uvedl Shnui, který je také výzkumným pracovníkem Lékařského institutu Howarda Hughese.

“Zatímco rukopis může dosáhnout 20 slov za minutu, máme tendenci mluvit rychlostí kolem 125 slov za minutu, což je další vzrušující směr, který rukopis doplňuje. Pokud jsou tyto systémy kombinovány, mohou tyto systémy nabídnout pacientům ještě více možností efektivní komunikace,” řekl Shnui .

Odkaz: 12. května 2021, Příroda.
DOI: 10.1038 / s41586-021-03506-2

BCI použitý ve studii je ze zákona omezen na použití pro vyšetřování a dosud nebyl schválen pro komerční použití.

Licenční úřad pro technologii Stanford University podal patentovou přihlášku na duševní vlastnictví související s prací Wilt, Henderson a Shanoi.

Henderson a Shanoi jsou členy Wow Tsai Institute of Neuroscience ve Stanfordu a Stanford Bio-X.

Donald Avensino, Ph.D., softwarový inženýr v Neural Translation Laboratory, byl spoluautorem studie.

Výsledky studie jsou poslední kapitolou dlouhodobé spolupráce mezi Hendersonem a multidisciplinárním konsorciem a klinickým testem s názvem BrainGate2 (NCT00912041). Spoluautor výzkumu Leigh Hochberg, Ph.D., PhD, neurolog a neurověda v Massachusetts General Hospital, Brown University a Rhode Island Veterans Providence Health System, je sponzorem a výzkumníkem BrainGate2

Studie byla financována z Wu Wai Institute of Neuroscience, Howard Hughes Medical Institute, Department of Veterans Affairs ve Spojených státech a National Institutes of Health (poskytnutím UH2NS095548, R01DC009899, ​​R01DC017844, R01DC014034 a U01NS098mall, Reeves a Simmonsova nadace.

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Drsná kůra, která se v noci ozývá, vede k objevení nových druhů

V lesích západní a střední Afriky se v noci ozývají hlasitá volání hybridů stromů - malých, býložravých savců, ale jejich zvuk se liší podle...

Nástroj Nový nástroj určený k podpoře vývoje a vývoje automobilových vozidel

Schematický vnitřní provoz elektrod v palivovém článku և kapacita základních parametrů. Půjčka:Heinz a kol., 2021: Široké používání tradičních vozidel na vodíkový pohon nad tradičními...

Identifikace velmi počátečních kroků, které vedou k rozvoji rakoviny

Konfokální mikrofotografie tenkého střeva myši pomocí technologie Red2Onco. S Red2Onco můžete označit onkogenní mutantní klony (červené klony) a běžné nebo divoké klony (žluté...

Neandertálci a raná moderní lidská kultura koexistovali vedle starších tradic již více než 100 000 let

Výzkum Fakulty antropologie a ochrany na University of Kent zjistil, že jedna z prvních kultur kamenných nástrojů známá jako Acheulean trvala pravděpodobně o desítky...

Snadná věda: co jsou sterilní neutrina?

Sterilní neutrina jsou speciální typ neutrin, který byl navržen k vysvětlení některých neočekávaných experimentálních výsledků, ale nakonec nebyl objeven. Vědci je hledají v...

Newsletter

Subscribe to stay updated.