Novi znanstveni rezultati predstavljeni ovog tjedna na konferenciji 2022. – koje su izložili istraživači s instituta Caltech – pokazuju da brain-machine interface može s visokom točnošću predvidjeti unutarnji govor osobe. U fokusu je moždano-računalno sučelje koje, prema prikazanim podacima, otključava put prema komunikaciji bez glasnica za osobe koje ne mogu govoriti.
Dokaz koncepta za sustav unutarnjeg govora
Moždano-računalno sučelje već godinama daje nadu ljudima koji zbog neuroloških bolesti, poput amiotrofične lateralne skleroze, ne mogu govoriti. Uz pomoć takvih sustava korisnici mogu upravljati vanjskim uređajima, pisati poruke i koristiti digitalne servise – sve neposrednim neuralnim signalima. Prema prikazu istraživačkog tima s Caltecha, najnoviji pristup ide korak dalje: bilježi i dešifrira unutarnji govor, tj. riječi koje osoba „izgovara u sebi“, što dodatno povećava važnost koju može imati svako napredno moždano-računalno sučelje.
Autori ističu da je riječ o „prvom dokazu koncepta za sustav unutarnjeg i vokaliziranog govora s visokom izvedbom“. U članku navode kako su pretpostavili da će se različite moždane regije modulirati ovisno o tome proizvodi li osoba glas ili samo misli riječi. Posebno su pratili aktivnost u supramarginalnom girusu – skraćeno SMG – u stražnjem parijetalnom korteksu, u primarnom somatosenzornom korteksu – često označenom kao S1 – te u ventralnom premotoričkom korteksu, poznatom kao PMv. U tom okviru, moždano-računalno sučelje postavljeno je tako da usporedi obrasce tijekom izgovorenog i unutarnjeg govora.
Sudionik istraživanja bio je tetraplegičan nakon ranije ozljede leđne moždine. Ugrađena mu je 96-kanalna multi-elektrodna mrežica – Neuroport Array kompanije Blackrock Microsystems – u supramarginalni girus i lijevi ventralni premotorički korteks, te dvije 48-kanalne mikroelektrodne mrežice u primarni somatosenzorni korteks. Ovakva invazivna konfiguracija odabrana je kako bi se dobio što povoljniji omjer signal/šum i visoka vremensko-prostorna razlučivost, jer bi neinvazivne tehnike poput MEG, fMRI ili EEG vjerojatno dale slabiji signal za preciznu dekodifikaciju unutarnjeg govora. Na taj način istraživači su pokazali kako jedno pažljivo dizajnirano moždano-računalno sučelje može pouzdano pročitati vrlo fine neuralne nijanse.
Tijekom eksperimenata sudionik je u sebi „govorio“ šest riječi i dva pseudoriječi. Snimljena je neuronska aktivnost tijekom četiri jezična procesa: vokaliziranog govora, čitanja, slušnog razumijevanja te unutarnjeg govora. Analiza je potvrdila da je unutarnji govor izrazito dobro dešifrirljiv u supramarginalnom girusu – što je ključni neurofiziološki temelj na kojem se gradi svako učinkovito moždano-računalno sučelje usmjereno na jezik.
U prikazu rezultata navodi se da je razvijen robustan dekoder koji razlikuje unutarnji i izgovoreni govor, oslanjajući se na aktivnost pojedinačnih neurona u supramarginalnom girusu. Sudionik s kronično ugrađenim elektrodama, i očuvane mogućnosti govora, postizao je do 91 posto točnosti pri klasifikaciji unutar rječnika od osam riječi u internetskoj, povratnoj – closed-loop – konfiguraciji. Takav učinak nije samo broj na papiru – on je indikator da moždano-računalno sučelje može pružiti pouzdan kanal interakcije u stvarnom vremenu.
Zašto je unutarnji govor posebna prekretnica
Većina dosadašnjih sustava za komunikaciju uz pomoć neuralnih signala temeljila se na oblicima pokreta – primjerice na pokušaju pokretanja jezika ili mišića govornih organa – ili pak na prepoznavanju obrazaca koji prate izgovor. Unutarnji govor donosi novu paradigmu: nema pokreta, nema zvuka, a ipak se dobiva semantička informacija. Ako se pokaže da se takav pristup može proširiti na širok rječnik, moždano-računalno sučelje može s vremenom omogućiti razgovor bez zvuka i bez tipkovnice, koristeći se isključivo mislima koje oblikuju riječi.
Metodološki gledano, unutarnji govor postavlja specifične izazove. Nema akustičkog signala kojim bi se provjerila vremenska oznaka izgovora, pa se dekoder mora osloniti na neuralnu dinamiku – promjene u ispaljivanju neurona – i na raspodijeljene obrasce aktivnosti koji se pojavljuju kad osoba „tiho“ izgovara riječ. U tom smislu moždano-računalno sučelje mora biti dovoljno osjetljivo da razluči vrlo suptilne razlike, ali i dovoljno stabilno da zadrži točnost kroz dulje sesije snimanja.
Invazivno nasuprot neinvazivnom snimanju
Zašto su istraživači odabrali invazivni pristup? Tehnike poput EEG-a i MEG-a ne zahtijevaju operaciju i imaju važnu ulogu u kliničkoj i kognitivnoj neuroznanosti, no prostorna razlučivost i odnos signal/šum često nisu dovoljni za pouzdanu dekodifikaciju pojedinačnih riječi iz unutarnjeg govora. Funkcionalna magnetska rezonancija – fMRI – nudi odličnu prostornu sliku, ali je spora. Invazivni mikroskopski zapisi s korteksa daju pristup aktivnosti pojedinih neurona, pa se može izgraditi dekoder koji radi u stvarnom vremenu. Kada cilj postane komunikacija, a ne samo znanstveno razumijevanje, takva svojstva postaju presudna – i tu moždano-računalno sučelje dobiva značajnu prednost.
Unatoč tome, invazivnost znači kirurški rizik i potrebu za dugoročnim održavanjem implantata. Stabilnost signala može varirati, a etička pitanja – tko upravlja podacima, kako se čuva privatnost – dolaze u prvi plan. Istraživači stoga naglašavaju da su ovi rezultati dokaz koncepta, a ne gotov proizvod. Ipak, činjenica da je s jednim sudionikom postignuta visoka točnost sugerira da se mogućnosti mogu širiti, osobito ako se budu razvijali algoritmi koji će u potpunosti iskoristiti podatke koje pruža moždano-računalno sučelje.
Što znači 91 % točnosti u praksi
Na prvi pogled osam riječi možda zvuči skromno. No svaka tehnologija prolazi fazu učenja. Za početni korak, rječnik ograničen na mali skup pojmova dovoljan je za testiranje robusnosti dekodera, sinkronizaciju između neurona i modela te za procjenu koliko je sustav otporan na umor, ometanje i promjene u pažnji. U tom okruženju 91 posto točnosti pokazuje da moždano-računalno sučelje može razlikovati ciljane pojmove s malim brojem pogrešaka – a to je preduvjet za kasnije širenje rječnika i prelazak na slobodniji oblik komunikacije.
Proširenje rječnika zahtijeva i jezičnu strategiju: od odabira fonetski različitih riječi, preko učenja višeslovnih elemenata, do ugradnje modela jezika koji predviđa vjerojatnoću sljedeće riječi. Kada se ti slojevi spoje s neuralnim dekoderom, nastaje integrirani sustav – možda i hibridni, u kojem se kombiniraju signali iz više regija – koji može predlagati i ispravljati. U svemu tome središnje mjesto i dalje drži moždano-računalno sučelje, jer upravo ono pretvara neuralni uzorak u simboličku jedinicu jezika.
Supramarginalni girus kao čvorište
Supramarginalni girus nalazi se u parijetalnom režnju i sudjeluje u jezičnim i somatosenzornim procesima. U novim eksperimentima pokazao se iznimno informativnim za unutarnji govor. To se uklapa u širu sliku prema kojoj su procesi jezika distribuirani kroz više kortikalnih područja – od frontalnih regija koje planiraju govor, preko temporalnih koje obrađuju fonologiju i semantiku, do parijetalnih područja koja integriraju osjetne i jezične informacije. Kada se elektrode nalaze na pravim mjestima, moždano-računalno sučelje ima pristup tim mrežama i može „pročitati“ što mozak priprema bez stvarne vokalizacije.
Ukoliko se pokaže da supramarginalni girus može nositi veći rječnik, logičan je nastavak napraviti modularni dekoder koji iskorištava informacije iz više regija: SMG za unutarnji govor, S1 za proprioceptivne naznake koje prate izgovor, te PMv za planiranje artikulacije. Svaki modul bi doprinio dio slagalice, a integracija bi poboljšala ukupnu točnost. Takav pristup može dodatno osnažiti svako buduće moždano-računalno sučelje namijenjeno komunikaciji.
Od laboratorija do svakodnevice
Prijelaz s laboratorijskih demonstracija na svakodnevnu upotrebu najzahtjevniji je korak. U pravom životu korisnik često mijenja položaj, razinu pažnje, raspoloženje i motivaciju. Rješenje je adaptivan algoritam koji uči zajedno s korisnikom. To podrazumijeva treniranje modela kroz kratke sesije i periodično prilagođavanje parametara. Tako se postiže da moždano-računalno sučelje ostane precizno i kad se uvjeti mijenjaju. Osim toga, sučelje mora biti ergonomsko: lagana oprema, minimalna potreba za podešavanjem i jednostavno pokretanje dnevnih radnji.
Sigurnost i privatnost također su ključne. Neuralni zapisi potencijalno nose vrlo osobne informacije. Potreban je strogo kontroliran pristup podacima, lokalna obrada kad god je moguće i jasna pravila o načinu pohrane. Posebno se ističe transparencija – korisnik mora znati koje se informacije bilježe i u koju svrhu se koriste. Sve to dio je odgovorne implementacije koju zahtijeva svako moždano-računalno sučelje.
Uloga algoritama strojnog učenja
U pozadini ovakvih sustava nalaze se algoritmi strojnog učenja koji prevode vremenske nizove neuralnih impulsa u kategorije riječi. Riječ je o problemu klasifikacije s ograničenim brojem primjera i promjenjivim signalom. Zbog toga se često koriste regularizacijske tehnike, algoritmi koji se dobro nose s malim skupovima podataka i modeli koji mogu raditi u stvarnom vremenu bez velikog računalnog opterećenja. Što su modeli bolje usklađeni s neurofiziologijom govora, to je lakše izgraditi stabilno moždano-računalno sučelje.
Preduvjet za uspjeh je i dobra priprema podataka: označavanje vremenskih oznaka, odabir relevantnih neurona, uklanjanje artefakata i bilježenje konteksta (je li riječ o čitanju, slušanju ili spontanom mišljenju). Kad je ta podloga čista, dekoder uči brže i generalizira bolje. Time se povećava vjerojatnost da će moždano-računalno sučelje uspješno raditi i izvan usko kontroliranih eksperimentalnih uvjeta.
Primjene koje se naziru
Primarna primjena ovakvog sustava je asistivna komunikacija. Za osobe koje su „zaključane u tijelu“ – koje ne mogu pomicati ni govoriti – mogućnost da „izgovore“ riječ mislima ima nemjerljiv značaj. Može omogućiti jednostavne poruke članovima obitelji, traženje pomoći ili izražavanje potreba. Dugoročno, kako se rječnik širi, moguće je doći do slobodnijeg izražavanja. U tom kontekstu, moždano-računalno sučelje postaje most između neuralne namjere i digitalnog svijeta.
Druga skupina primjena uključuje upravljanje okolinom: otvaranje vrata, paljenje svjetla, odabir stavki na zaslonu, upravljanje kolicima. Ako dekoder razlikuje precizne jezične naredbe, tada jedan kanal može služiti i za komunikaciju i za kontrolu uređaja. To povećava učinkovitost i smanjuje kognitivno opterećenje – a upravo to je cilj koji svako dobro dizajnirano moždano-računalno sučelje nastoji postići.
Granice i realna očekivanja
Iako su rezultati impresivni, treba ostati realan. Jedan sudionik i ograničen rječnik ne mogu u potpunosti odražavati raznolikost ljudskog jezika. Razlike među pojedincima – u anatomiji, plastičnosti i načinu na koji zamišljaju riječi – utjecat će na prenosivost dekodera. Također, dugoročna stabilnost signala, potencijalna potreba za rekonstrukcijom elektroda i promjene u okolnom tkivu predstavljaju izazove. U praksi, svako moždano-računalno sučelje morat će imati plan održavanja i strategiju prilagodbe modela bez čestih ponovnih ugradnji.
Valja istaknuti i jezične nijanse. Unutarnji govor ne mora uvijek biti identičan izgovorenom. Ljudi ponekad misle u slikama ili skraćenim oblicima riječi. Dekoder koji se oslanja samo na jednu regiju mozga mogao bi propustiti taj bogati spektar. Zbog toga je razumno očekivati da će budući sustavi koristiti više regija i multimodalne podatke. Time se povećava šansa da će moždano-računalno sučelje „uhvatiti“ namjeru i kad se ona ne uklapa savršeno u unaprijed zadane kategorije.
Kamo dalje
Sljedeći koraci uključuju širenje rječnika, provjeru izvedbe s više sudionika i testiranje u uvjetima svakodnevne upotrebe. Pritom će suradnja neuroznanstvenika, inženjera i kliničara biti presudna. Uz to, potrebno je razvijati protokole za etičko upravljanje podacima i jasne smjernice za korisnike i skrbnike. Kako se rezultati budu gomilali, očekuje se standardizacija metrika – vrijeme do točne poruke, broj pogrešaka po minuti, trajnost kalibracije – koje će pomoći usporediti različite pristupe. Sve to će doprinijeti da moždano-računalno sučelje iz laboratorija prijeđe u pouzdan svakodnevni alat.
Sažeti tehnički pregled
- Implantacija: jedna 96-kanalna mrežica u supramarginalni girus i PMv, dvije 48-kanalne u S1.
- Pristup: invazivno snimanje aktivnosti neurona s ciljem visoke razlučivosti.
- Paradigma: usporedba izgovorenog i unutarnjeg govora s malim rječnikom.
- Dekodiranje: online, povratna petlja – closed-loop – s klasifikacijom do 91 % točnosti.
- Perspektiva: širenje rječnika i integracija informacija iz više regija.
Širi društveni okvir
Tehnologije koje čitaju neuralne signale stvaraju i društvena pitanja. Kako osigurati da sustavi ostanu pod kontrolom korisnika? Tko odlučuje o nadogradnjama i promjenama algoritama? Koja su prava na brisanje podataka i na prijenos u druge sustave? Na ta pitanja treba odgovoriti prije široke primjene. No ispravno postavljena pravila mogu stvoriti okruženje u kojem moždano-računalno sučelje olakšava život bez narušavanja dostojanstva i privatnosti.
Zaključne napomene o dosegu
Prikazani rad ukazuje na to da supramarginalni girus može nositi vrlo informativne uzorke za unutarnji govor, a da se iz tih uzoraka – uz kvalitetan dizajn eksperimenta i treniranje dekodera – može ostvariti visoka točnost klasifikacije. Kada se ti elementi slože, nastaje komunikacijski kanal koji ne ovisi o glasu. U tom smislu moždano-računalno sučelje potvrđuje svoju ulogu ne samo kao tehnička inovacija nego i kao sredstvo za veću samostalnost ljudi kojima je to najpotrebnije.
Copyright © 2022 Cami Rosso All rights reserved.
