Naš mozak ima izvanrednu sposobnost povezivanja vizualnih i auditivnih informacija, stvarajući tako koherentnu i sinkroniziranu percepciju svijeta oko nas. Bez obzira na to što postoji znatna razlika u brzini kojom vizualni i auditivni podražaji stižu do mozga, uspijevamo doživjeti okolinu kao povezanu cjelinu. Ova nevjerojatna sposobnost omogućava nam svakodnevno snalaženje i razumijevanje različitih situacija, od gledanja filma do vožnje automobilom. Mozak koristi razne mehanizme kako bi uskladio slike i zvukove, unatoč tome što se oni ne pojavljuju uvijek istovremeno u stvarnosti.
Vizualni podražaji putuju brzinom svjetlosti te gotovo trenutno stižu do naših očiju, dok zvukovi dolaze znatno sporije, putujući brzinom od oko 343 metra u sekundi. Ova razlika u brzini često je zamjetna u prirodi – primjerice, kada vidimo bljesak munje, a zatim nekoliko sekundi kasnije čujemo grmljavinu. Iako su izvor i događaj isti, percepcija nam je razdvojena zbog različite brzine dolaska podražaja. Zanimljivo je da mozak ipak može povezati te informacije i pružiti osjećaj sinkronizacije, kao što objašnjava članak na stranici [Institut Ruđer Bošković](https://www.irb.hr/Znanost/Znanstvene-vijesti/Sinkronizacija-senzornih-sustava-u-mozgu).
S druge strane, mozak obrađuje zvučne informacije brže nego vizualne. Ova razlika očituje se i u brzini reakcije – ljudi će u prosjeku za oko 20 milisekundi brže reagirati na zvuk nego na svjetlosni podražaj. To znači da su procesi obrade u mozgu prilagođeni tako da nam omogućuju efikasno i sinkronizirano djelovanje na temelju kombiniranih osjetilnih informacija. Istraživanja poput onih objavljenih na [Science Daily](https://www.sciencedaily.com/releases/2018/06/180611154138.htm) dodatno pojašnjavaju kako mozak balansira te razlike u brzini obrade.
Temporalni prozor povezivanja (TBW)
Da bi integrirao zvučne i vizualne informacije, mozak koristi svojevrsni “buffer”, poznat kao audio-vizualni temporalni prozor povezivanja (TBW). U tom vremenskom okviru – koji može trajati između 160 i 250 milisekundi za jednostavne podražaje poput svjetlosnog bljeska i zvučnog signala – mozak percipira zvuk i sliku kao da su se dogodili istovremeno, čak i kada postoji mala razlika u vremenu njihova dolaska. Kada su podražaji složeniji, poput govora, taj prozor može biti i širi. Detaljno pojašnjenje ovog fenomena možete pronaći na portalu [NeuroScience News](https://neurosciencenews.com/audiovisual-processing-synchronization-25411/).
Istraživanja su pokazala da se ovaj vremenski prozor može mijenjati kroz perceptivni trening uz povratnu informaciju. U eksperimentima sudionici odgovaraju jesu li bljesak i zvuk nastupili istovremeno, a nakon brojnih pokušaja i povratnih informacija, njihova se preciznost poboljšava, a TBW sužava. Time mozak postaje vještiji u razlikovanju sitnih vremenskih razlika između slike i zvuka. Ovakva istraživanja pružaju uvid u plastičnost mozga i mogućnost prilagodbe kroz iskustvo, što potvrđuju i rezultati objavljeni na [Frontiers in Psychology](https://www.frontiersin.org/articles/10.3389/fpsyg.2018.01350/full).
U novijoj studiji objavljenoj u časopisu Perception, istraživači su željeli ispitati prenosi li se stečeno poboljšanje TBW-a iz jednog dijela vidnog polja na drugi. Sudionici su trenirali sinkronizaciju samo u jednoj polovici vidnog polja, ali su nakon treninga poboljšanja bila vidljiva i u netreniranom dijelu vidnog polja. Rezultati ukazuju na to da se učenje sinkronizacije slike i zvuka događa na višoj razini obrade, nevezano uz određene dijelove mrežnice. To znači da trening na jednom dijelu vidnog polja generalizira na cijelo vidno polje, što podupire koncept globalne prilagodbe mozga. Dodatne informacije o širenju učinka treninga dostupne su na [Medical Xpress](https://medicalxpress.com/news/2023-01-visual-sound-brain.html).
Zanimljivo je da otvorena pitanja i dalje postoje: primjerice, može li trening sinkronizacije sa jednostavnim podražajima kao što su bljeskovi i zvuci utjecati na percepciju sinkronizacije kod kompleksnijih podražaja, poput ljudskog govora? Također, koliko dugo traju učinci ovakvih treninga? Istraživanja su do sada ispitivala učinke neposredno nakon dvodnevnog treninga, ali dugoročnost rezultata ostaje nepoznata. Prema informacijama sa [Harvard Health Publishing](https://www.health.harvard.edu/newsletter_article/how-the-brain-mixes-sights-and-sounds), sposobnost mozga da spaja slike i zvukove igra ključnu ulogu u svakodnevnoj komunikaciji, osobito u zahtjevnim akustičkim uvjetima.
Da bi razumjeli kako naš mozak uči sinkronizirati vid i zvuk, važno je razmotriti neuralne mehanizme uključene u ovaj proces. Neurološke strukture kao što su superiorni kolikulus, talamus i primarna auditivna te vizualna kortikalna područja, sudjeluju u integraciji senzorskih informacija. Superiorni kolikulus, koji je posebno uključen u multisenzornu integraciju, omogućava brzu orijentaciju prema podražaju iz okoline, što je detaljno objašnjeno na [Britannica](https://www.britannica.com/science/superior-colliculus).
Multisenzorna integracija je proces kroz koji mozak kombinira informacije iz različitih osjetila, stvarajući cjelovitu i bogatu percepciju okoline. Kroz razvoj i svakodnevno iskustvo, naš mozak usvaja obrasce tipične za okolinu – primjerice, da se određeni zvukovi najčešće poklapaju s određenim slikama. Ova učenja nisu fiksna; naprotiv, mozak ostaje plastičan i sposoban prilagodbe tijekom cijelog života. Zato je moguće da kroz ciljane vježbe i treninge poboljšamo sinkronizaciju slike i zvuka, što može biti korisno osobama s poremećajima senzorne integracije ili starijim osobama kod kojih dolazi do usporavanja procesa.
Sinkronizacija slike i zvuka ne utječe samo na svakodnevno iskustvo, nego je presudna i za razumijevanje jezika, gledanje filmova i sudjelovanje u društvenim interakcijama. Osobe koje imaju poteškoće s ovom sinkronizacijom često navode probleme s razumijevanjem govora u bučnim okruženjima ili s gledanjem televizije. Stoga znanstvenici kontinuirano istražuju načine kako poboljšati te procese, posebno kroz intervencije koje bi mogle pomoći osobama sa specifičnim teškoćama senzorne integracije. Istraživanja na ovu temu redovito objavljuje [National Institutes of Health](https://www.nih.gov/news-events/nih-research-matters/how-brain-integrates-sight-sound).
Kada je riječ o djeci, razvoj sposobnosti integracije slike i zvuka odvija se postupno. Novorođenčad i mala djeca još nemaju potpuno razvijen TBW, ali kroz izlaganje raznim situacijama i socijalnoj interakciji uče povezivati zvukove s pripadajućim slikama. Ovaj proces je važan za razvoj jezika, čitanje i pisanje te opću kognitivnu funkciju. Razumijevanje načina na koji naš mozak uči sinkronizirati vid i zvuk stoga je ključno ne samo za znanstvenike, već i za roditelje, učitelje i terapeute.
Brojne neurološke studije koriste moderne metode snimanja mozga kako bi detaljnije ispitale koje su moždane regije najaktivnije tijekom sinkronizacije slike i zvuka. Tako se pomoću funkcionalne magnetske rezonancije i elektroencefalografije može pratiti vremenska dinamika multisenzorne integracije i precizno odrediti kako se proces odvija u stvarnom vremenu. Ovo područje istraživanja kontinuirano napreduje, što otvara mogućnosti za razvoj novih terapija i treninga koji bi mogli poboljšati svakodnevno funkcioniranje ljudi.
Razumijevanje kako naš mozak uči sinkronizirati vid i zvuk ima izravne primjene u raznim područjima života. U tehnologiji, primjerice, znanja iz ove domene koriste se u razvoju uređaja za pomoć osobama s oštećenjima sluha i vida, u razvoju virtualne stvarnosti te kod poboljšanja kvalitete zvuka i slike na digitalnim platformama. Primjeri se mogu pronaći u inovacijama na području slušnih pomagala i u poboljšanjima na području audiovizualnih tehnologija, što je prikazano u člancima na [MIT News](https://news.mit.edu/2022/brain-synchronizes-sight-sound-0419).
