Novo istraživanje sa Švicarskog saveznog instituta za tehnologiju u Lausanni (EPFL) pokazuje kako kombinacija neuroznanosti i AI metodologije može iz moždane aktivnosti miša predvidjeti što životinja vidi s preciznošću većom od 95%. U središtu pristupa nalazi se algoritam nazvan CEBRA koji iskorištava napredne principe machine learning i deep learning tehnika kako bi povezao ponašanje, podražaje i neuronske uzorke u zajednički reprezentacijski prostor. CEBRA pritom ne služi tek za tehnički trik, nego otvara vrata sustavnom razumijevanju vizualne obrade i predstavljanja informacija u mozgu.
Autori rada – Steffen Schneider, Jin Hwa Lee i Mackenzie Weygandt Mathis s Brain Mind Institute & Neuro X Institute (EPFL) – polaze od klasičnog cilja neuroznanosti: precizno mapirati odnose između ponašanja i neuronskih signala. Kako su današnje metode snimanja omogućile prikupljanje ogromnih količina podataka, nastala je potreba za inteligentnim modelima koji mogu zahvatiti dinamiku u vremenu i razotkriti skrivena stanja. CEBRA je osmišljen upravo za takvu zadaću, povezujući višedimenzionalne vremenske nizove na način koji je stabilan i interpretabilan u odnosu na stvarne podražaje.
Za razliku od standardnih pristupa koji tretiraju podatke odvojeno, CEBRA se temelji na nelinearnom smanjenju dimenzionalnosti potpomognutom contrastive learning paradigmom. Ključna inovacija je izmjena funkcije gubitka tako da se istodobno može učiti iz diskretnih i kontinuiranih tokova – primjerice, iz vremenski ovisnih neurona koji odgovaraju na kontinuirano mijenjajuće filmske prizore. Time CEBRA uči reprezentacije koje očuvavaju strukturu podataka u vremenu i omogućuju precizno preslikavanje između percepcije i aktivnosti neurona.
U radu su korišteni raznoliki skupovi podataka: sintetički spiking zapisi za usporedbu, višestanična elektrofiziologija iz hipokampusa štakora, elektrofiziološka snimanja iz somatosenzoričkog korteksa (S1) rezus makakija te podaci vizualnog korteksa miša koje je Allen Institute prikupio metodom dvofotonskog kalcijevog snimanja, odnosno 2PCI – tipična in vivo tehnika koja bilježi promjene kalcijevih signala kao proxy za neuronsku aktivnost. CEBRA se pokazao dovoljno fleksibilnim da ujedini tako heterogene izvore u zajedničku analitičku shemu.
Paradigma contrastive learning funkcionira tako da modelu servira parove pozitivnih i negativnih uzoraka: pozitivni parovi su semantički srodni, negativni nisu. U neuroznanosti to mogu biti istovremeni segmenti signala i pripadni podražaji, ili pak vremenski bliski prozori koji nose sličan kontekst. CEBRA pritom uči razdvajati latentna stanja tako da su „bliski” primjeri zbijeni, a različiti razdvojeni, što rezultira reprezentacijom koja je pogodna i za dekodiranje i za interpretaciju.
Najimpresivniji rezultat odnosi se na dekodiranje onoga što miševi vide dok gledaju film. Koristeći CEBRA, istraživači su uspjeli rekonstruirati vizualni sadržaj – filmske kadrove – iz aktivnosti neurona u vizualnom korteksu s točnošću većom od 95%. Za područje koje se još donedavno zadovoljavalo prepoznavanjem vrlo jednostavnih uzoraka, ovakav pomak predstavlja kvalitativni skok. CEBRA pritom ne pogađa nasumično, nego konzistentno iskorištava vremensku strukturu i statistiku stimulusa.
Usporedbe sa standardnim dekoderima pokazuju zašto je ova metodologija bitna. Klasici poput naivnog Bayesa ili jednostavnih k-najbližih susjeda (kNN) obično zanemaruju globalnu geometriju podataka i oslanjaju se na lokalne heuristike. CEBRA, konstruiran na načelima nelinearnog učenja i kontrastivnih ciljeva, uspijeva uočiti obrasce koji se protežu kroz vrijeme i neurone, pa u dešifriranju vizualnih scena uvjerljivo nadmašuje te bazne metode.
Osim same točnosti, zanimljiva je i interpretabilnost rezultata. Latentni prostor koji uči CEBRA odražava strukturu podražaja: slični prizori – po teksturi, kretanju ili kontrastu – klasteriraju se prirodno, dok se različiti udaljuju. Takva organizacija nije samo korisna za dekodiranje; ona istraživačima nudi prozor u to kako mozak grupira informacije. Kada se latentne koordinate usporede s poznatim kartama receptivnih polja, vidi se suglasnost koja upućuje na to da model hvata relevantne značajke.
Iako je demonstracija napravljena na vizualnim stimulima, autori naglašavaju širinu pristupa. CEBRA se može upotrijebiti svuda gdje se isprepliću ponašanje i moždani signali – od eksperimentalne neuroetologije do sustava za sučelja mozak-računalo. U tom kontekstu, CEBRA je prikladna za pretvaranje kompleksnih neuronskih vremenskih nizova u komprimirane reprezentacije pogodne za stabilno dekodiranje motoričkih namjera ili perceptivnih stanja.
Potencijal za tehnologije sučelja mozak-stroj je očit. U AI zajednici, dekoderi koji djeluju u stvarnom vremenu ovise o robusnim reprezentacijama koje se ne ruše na šum i promjene u snimanju. CEBRA je dizajnirana da koristi vremenske regularnosti i višemodalne informacije, pa je izgledno da bi se mogla primijeniti na praktične zadatke poput stabilne kontrole pokazivača ili robotske ruke na temelju kortikalnih signala, uz relativno malo prilagodbe.
Tehnički gledano, presudno je kako se formiraju pozitivni i negativni parovi za učenje. U primjeru filmova, pozitivni parovi mogu biti neuronski prozori vrlo bliski u vremenu ili prozori usklađeni s istim objektom u kadru, dok su negativni oni udaljeni u vremenu ili koji odgovaraju posve drukčijim scenama. CEBRA kombinira takve parove s modifikacijama funkcije gubitka koje omogućuju da jedan model simultano uči iz diskretnih oznaka i kontinuiranih signalnih putanja.
Još jedna praktična vrijednost jest otpornost na promjene između sesija snimanja. U stvarnim uvjetima elektrofiziološki ili kalcijevi signali variraju – elektroda se pomakne, kvaliteta fluorescencije padne, ili dio neurona više nije vidljiv. CEBRA, kao kontrastivno treniran sustav, uči reprezentacije koje bolje premošćuju takve promjene, pa dekoder ostaje funkcionalan dulje vrijeme bez nužde za potpunim ponovnim učenjem.
U odnosu na klasična smanjenja dimenzionalnosti poput PCA, t-SNE ili UMAP-a, razlika je u cilju i ograničenjima učenja. Ti postupci idealni su za vizualizaciju strukture, no ne nužno za prediktivne zadatke povezivanja signala i podražaja. CEBRA je od početka optimirana za dekodiranje – geometrija latentnog prostora uči se tako da maksimizira razlikovnost relevantnih stanja, što joj daje prednost kad je cilj izvršiti preciznu rekonstrukciju.
Važno je i kako su odabrani skupovi podataka. Osim 2PCI zapisa iz vizualnog korteksa miša, korišteni su i elektrofiziološki podaci iz hipokampusa štakora te S1 korteksa kod primata, što omogućuje validaciju u različitim režimima snimanja i različitim funkcionalnim sustavima mozga. CEBRA se pokazuje dovoljno općenitom da se prilagodi i sporijim kalcijevim signalima i brzim spiking uzorcima, potvrđujući svoju svestranost.
Na planu potencijalnih primjena, vizualne neuroproteze često trebaju pouzdan prikaz odnosa između signala i doživljaja. Ako dekoder može stabilno „iščitavati” što korisnik vidi ili želi vidjeti, moguće je bolje kalibrirati stimulacijske uzorke u uređajima koji ciljaju vizualni korteks. CEBRA se u tom smislu može shvatiti kao most između senzorne neurofiziologije i praktičnih sustava, posebno onih koje pokreće AI.
Inženjerski gledano, sustavi koji obrađuju strujanja podataka – primjerice videonadzor ili autonomna vožnja – odavno su se oslonili na reprezentacije koje sažimaju relevantne informacije kroz vrijeme. Interesantno je vidjeti kako neuroznanost hvata taj korak i vraća tehnologiji povratnu inspiraciju. CEBRA demonstrira da se isti principi mogu primijeniti na biološke signale, čime dobivamo platformu za usporedbu bioloških i računalnih vizualnih sustava.
Rezultati o točnosti dekodiranja (>95%) posebno su dojmljivi kad se uzme u obzir da vizualne scene tijekom filma obiluju promjenama. U takvim uvjetima jednostavni linearni dekoderi često gube nit jer pretpostavljaju stacionarnost odnosa. CEBRA, naprotiv, koristi činjenicu da su uzastopni kadrovi srodni te „veže” reprezentaciju uz tu bliskost, što prirodno pojačava razlikovnost kada se scena naglo promijeni.
Nije nevažno ni pitanje skalabilnosti. Kako su snimanja s tisućama neurona postala standard, modeli moraju biti učinkoviti i na velikim dimenzijama. CEBRA pokazuje da se uz kontrastivne ciljeve i pažljivo definiran kontekst učenja može postići dobar omjer između računske složenosti i kvalitete rezultata – pritom zadržavajući interpretabilnost koja je neuroznanosti neophodna.
Za istraživače koji rade s ponašanjem, posebno je praktično što se u model mogu uključiti i kinematički i kontekstualni signali. Primjerice, pokreti glave ili očiju mogu služiti kao dodatne vodilje koje usidruju reprezentaciju oko relevantnih trenutaka. CEBRA je osmišljena tako da takve informacije ne guši, nego ih strukturirano ugrađuje, čineći dekodiranje stabilnijim.
Pritom treba voditi računa o vrsti metrike. Točnost iznad 95% može značiti različite stvari, ovisno o načinu kodiranja zadatka – klasifikacija kadrova, regresija na kontinuirane značajke scene ili rekonstrukcija sličnosti. CEBRA ostaje konkurentna preko tih metrika jer su ciljevi učenja usklađeni s time što dekoderu doista treba: razlučivanje sličnih od različitih stanja u prostoru koji ima smisla i za biologiju i za računanje.
U pogledu biološke interpretacije, rezultati potkrepljuju ideju da vizualni korteks gradi reprezentacije koje su istodobno osjetljive na lokalne detalje i globalne odnose. Kad CEBRA grupira slične prizore, to se može staviti u vezu s poznatim principima poput organizacije po orijentaciji, prostornoj frekvenciji i pokretu. Time algoritam nudi analitičku poveznicu između dešifriranja i temeljne neurofiziologije.
Konačno, vrijedi istaknuti da pristup nije vezan uz jednokratne laboratorijske uvjete. Kako prikupljanje podataka postaje sve bogatije – više životinja, dulja snimanja, raznoliki podražaji – raste i potreba za metodama koje se ne slome na heterogenosti. CEBRA je zamišljena kao okvir koji takvu raznolikost ne doživljava kao problem, nego kao izvor signala koji kontrastivno učenje može pretvoriti u robusnu i korisnu strukturu.
Ono što pristup čini posebno primamljivim je kombinacija teorijske elegancije i praktične iskoristivosti. Teorijski, radi se o čistom slučaju učenja reprezentacija koje poštuju geometriju podataka; praktično, dobiva se alat koji se može spojiti s dekoderima u stvarnom vremenu, s analizom ponašanja ili s drugim modalitetima snimanja. Time CEBRA postaje relevantna i za laboratorije usmjerene na osnovna pitanja i za timove koji razvijaju primjene temeljene na AI.
Kroz sve prikazane primjere, zajednički nazivnik je uloga vremenskog konteksta. Neuronski signali nisu niz izoliranih točaka nego trajektorije u vremenu – i upravo ta činjenica daje prednost metodama koje znaju „slušati” kako se stanje mijenja. CEBRA je razvijena kako bi to slušanje bilo principijelno i statistički utemeljeno, što se izravno očituje u sposobnosti preciznog predviđanja onoga što miševi vide.
