“Čak i s potpuno iskrenim i dobronamjernim analitičkim namjerama,” piše ugledni mađarski znanstvenik Csaba Szabo, “različite skupine znanstvenika, analizirajući iste skupove podataka, mogu doći do potpuno različitih zaključaka.”
U knjizi Neispravno: Prevara, laži i krizni reproducibilnosti u biomedicinskim istraživanjima, koja izlazi sljedeći tjedan u izdanju Columbia University Press-a, Szabo nudi nekoliko razloga za tu razliku i jasno ih izlaže kao sustavne probleme.
Kako mali, ali značajni nivoi varijacija mogu ugroziti svaki stupanj biomedicinskog istraživanja, kombinirani učinci iskrivljenja postavljaju hitna pitanja o tome koliko je pouzdano temeljno istraživanje tog područja. Jesu li rezultati koji se objavljuju statistički značajni ili nesignifikantni? Jesu li promijenjeni kako bi izgledali kao statistički značajni, a bez odabira podataka, p-hackinga i drugih vrsta “statističkih podmetanja” zapravo spadaju u drugu kategoriju?
Među najcitiranijim biomedicinskim znanstvenicima, s više od trideset godina izravnog iskustva u biomedicinskim istraživanjima, Szabo razotkriva tajne svog područja. Pratimo svakodnevnu borbu za sprječavanje grešaka u laboratorijima do unutarnjih procesa Nacionalnih instituta za zdravlje, čiji su fondovi za istraživanje raka trenutno zamrznuti zbog općeg odbacivanja svih biomedicinskih saznanja od strane administracije Donalda Trumpa.
Jedan od razloga za poteškoće je to što neispravnost može pokvariti čak i analize napravljene u dobroj vjeri. Kontaminirani stanični sojevi, male razlike u uvjetima u laboratoriju, pa čak i sezonske fluktuacije u bilježenju podataka mogu izmijeniti rezultate. Osim toga, manipulacija podacima i njihovo fabrikovanje sada su toliko rasprostranjeni da uzrokuju krizu reproducibilnosti, zbog čega Szabo zaključuje da “ne-reproducibilnost nije iznimka, nego, šokantno, pravilo u biomedicinskoj znanosti.”
U području prepunom predatorskih časopisa, znanstvenih papirnih tvornica i “prevarantskih konferencija,” teško je izbrisati, ignorirati ili potpuno povući studije loše vjere. Međutim, zbog “nepouzdanosti nekih metoda i reagensa koji se koriste u istraživanjima,” mnoge takve studije dijele iste osobine i ograničenja kao čak i najbolje dizajnirana istraživanja. Ta ograničenja mogu uključivati (ali nisu ograničena na) ; promjenu ishodnih mjerenja; odabir podataka; p-hacking; “HARKING” ili “Hipoteza nakon što su rezultati poznati”; loša slijepa i slučajna raspodjela; ispravljanje slika; isključivanje izuzetaka; pristranost u redakciji; redukcionizam i generalizaciju; falsifikaciju podataka i prijevaru; plagijat; i preuveličavanje zanemarivih do umjerenih rezultata.
Razmislite o primjeru Szaboa o razlici u tumačenju podataka koja je bila napravljena u dobroj vjeri. Studija iz 2013. godine, objavljena u prestižnom časopisu PNAS, “usporedila je promjene u ekspresiji upalnih procesa u ljudskim i miševim eksperimentalnim sustavima i došla do zaključka (koji je ujedno bio i naslov rada): ‘Genomski odgovori u miševim modelima slabo oponašaju ljudske upalne bolesti.’
“Ali evo iznenađenja,” nastavlja Szabo: “ponovno analiziranje istog skupa podataka od strane druge skupine autora došlo je do suprotnog zaključka. Njihov zaključak (i opet naslov njihovog rada objavljenog dvije godine kasnije u istom časopisu) bio je: ‘Genomski odgovori u miševim modelima uvelike oponašaju ljudske upalne bolesti.’”
Što bi istraživači i sve zbunjenija javnost trebali pomisliti o takvoj varijaciji? Problem postaje ozbiljan kada je financirano biomedicinsko istraživanje “jedina igra u gradu,” a barem polovica tog istraživanja možda nije replicabilna.
Kriza reproducibilnosti “zapanjujućih” razmjera
Szabo naziva veličinu krize reproducibilnosti u biomedicinskim istraživanjima “zapanjujućom.” U 2011. godini, napominje, “znanstvenici iz njemačkog farmaceutskog diva Bayer napravili su veliku vijest time što nisu mogli replicirati 75 do 80 posto od 67 prekliničkih akademskih publikacija koje su preuzeli. U 2012. godini, odjel za hematologiju i onkologiju američke biotehnološke tvrtke Amgen odabrao je pedeset i tri rada o istraživanju raka koji su objavljeni u vodećim znanstvenim časopisima i pokušao ih replicirati u svom laboratoriju. U 89 posto slučajeva nisu uspjeli u tome.”
Problem nije ograničen samo na one koji lažiraju ili iskrivljuju rezultate kako bi ih prikazali kao statistički značajne (p-hacking). “Većina znanstvenika ne može ni reproducirati vlastite podatke,” tvrdi Szabo. “Godine 2016. prestižni znanstveni časopis Nature objavio je rezultate anonimne ankete. Više od 1.500 znanstvenika odgovorilo je, a u područjima biologije i medicine 65 do 75 posto ispitanika izjavilo je da nisu mogli reproducirati podatke objavljene od strane drugih i… 50 do 60 posto reklo je da su imali problema s reproduciranjem vlastitih prethodnih istraživačkih saznanja.”
Pritisak na objavu izmijenjenih rezultata
Razmjeri prijevara s podacima i statistikama razotkriveni u Neispravno su šokantni i zabrinjavajući.
Kada je 434 istraživača u MD Anderson Cancer Centeru anketirano 2013. godine, gotovo 20 posto njih—jedan od pet—priznalo je da su osjetili “pritisak da objave nalaze” o kojima su imali sumnje.
Među biomedicinskim studentima na Sveučilištu Kalifornija, San Diego, 5 posto je priznalo da su “izmijenili rezultate istraživanja u prošlosti”, dok je čak 81 posto reklo da su “spremni odabrati, izostaviti ili fabrikirati podatke kako bi dobili sredstva za istraživanje ili objavili rad.”
Meta-anketa iz 2021. u časopisu Science and Engineering otkrila je da je 15 posto istraživača bilo svjesno da su drugi počinili falsifikaciju, fabriciranje ili plagijat, no 40 posto ih je bilo svjesno da su drugi sudjelovali u tom postupku.
U svjetlu tih saznanja, nije iznenađujuće što su intervjui sa prvim dobitnicima prestižnih stipendija Nacionalne znanstvene zaklade pokazali da je za više od 60 posto njih “razina varanja natjerala ih da preispitaju svoju karijeru.”
Poremećeni sustav s “perverznim poticajima”
Vodeći čitatelje od skandala Theranosa, čiji su osnivači, izvršni direktori i zaposlenici “počinjeli prijevaru i laži u nevjerojatnoj mjeri,” što je rezultiralo zatvorskim kaznama, do slučaja istraživača obučenog na Stanfordu u New Yorku u Memorial Sloan-Kettering Cancer Centeru, koji je lažirao rezultate “transplantiranih” koža s genetski nepovezanih organizama bojeći kožu flomasterom, Szabo zaključuje da “jasno je da je trenutni sustav pokvaren” i “pun samopodržavajućih ‘perverznih poticaja’ koji, prepušteni sebi, neće se sami ispraviti.”
Veliki dio problema, iz Szabove perspektive, leži u tome što biomedicina stavlja veći naglasak (i poticaje) na objavljivanje nego na reprodukciju. Kao rezultat toga, “mnogo toga što je objavljeno na kraju nije reproducibilno,” ostavljajući ga većinom beskorisnim za javnost, dok “sustav postaje” besplodan, redundantan i prepun ‘znanstvenog smeća.’”
Szabo nudi izlaz kroz povećano nadgledanje, bolje provođenje dobrih pravila, bržu povratnu povučenost, veće kazne za prijevaru, veću upotrebu detektiva podataka i, što je najvažnije, temeljan povratak na znanstvenu integritet.
