Može li AI doista nepogrešivo prepoznati tekst koji je generirao GPT? Najnovije istraživanje Sveučilišta Stanford izvještava da trenutačne metode nisu pouzdane kada je u pitanju detekcija, osobito pri procjeni eseja autora kojima engleski nije materinski jezik. Istraživači naglašavaju da se detekcija često oslanja na metriju jezične predvidljivosti – i da upravo ta pretpostavka nerijetko dovodi do smislenih pogrešaka.

„Ovo je jedan od prvih sustavnih pregleda pristranosti u detektorima GPT te poziv na daljnja istraživanja kako bi se ublažile te pristranosti i unaprijedile postojeće metode, stvarajući pravedniji i sigurniji digitalni prostor za sve korisnike”, navode autori sa Stanforda. U središtu interesa je detekcija koja, iako obećavajuća, u praksi pokazuje ograničenja čim se suoči s raznolikošću stilova pisanja i razina jezične kompetencije.

GPT – skraćenica za „Generative Pre-trained Transformer” – pripada klasi velikih jezičnih modela, odnosno LLM-ova. Riječ je o umjetnim neuronskim mrežama koje uče obrasce jezika i značenja iz golemih korpusa. Modeli temeljeni na arhitekturi Transformers prolaze fazu generativnog preduvježbavanja na nenadziranim podacima, nakon čega slijedi nadzirano fino podešavanje za specifične zadatke. Toliko o modelima; kada govorimo o njihovim „protivnicima”, alatima za detekciju, važno je razumjeti zašto detekcija, iako konceptualno jednostavna, postaje skliska čim se primijeni na stvarne tekstove.

U praksi se korisnici susreću s nizom sustava koji koriste iste temeljne tehnologije: Google Bard, Microsoft Bing, Amazon CodeWhisperer, YouChat, ChatSonic, GitHub Copilot, OpenAI Playground, Character AI, Elicit, Perplexity AI, Jasper, Anthropic Claude i, dakako, široko poznati ChatGPT tvrtke OpenAI. Samo dva mjeseca nakon što je u studenome 2022. javno lansiran chatbot ChatGPT, postigao je više od 100 milijuna mjesečnih jedinstvenih posjetitelja prema analizi UBS-a koja se oslanjala na podatke platforme Similarweb ( NYSE: SMWB ). U takvom okruženju detekcija postaje važna tema za škole, sveučilišta i uredništva – ali važnost ne znači i spremnost tehnologije.

U obrazovanju su promjene bile brze. Istraživanje Zaklade Walton iz ožujka 2023. zabilježilo je široko širenje alata poput ChatGPT-a: među 1.000 ispitanih učenika 12-14 godina njih 47% navelo je da ga koristi za školske obaveze, a u skupini 12-17 godina udio iznosi 33%. Među 1.000 nastavnika od 1. do 12. razreda, njih 51% izjavilo je da koristi ChatGPT. Kako se nastavni proces mijenja, raste i potreba za pouzdanom provjerom – no detekcija, pokazuje se, ima pukotine koje se ne smiju ignorirati.

„Mnogi nastavnici vide detekciju kao ključnu protumjeru protiv ‘21. stoljeća verzije prepisivanja’, ali većina alata nije transparentna”, pišu istraživači. Marketinške tvrdnje o „99% točnosti” često se prihvaćaju bez provjere – a to je problematično, jer nema javno dostupnih standardnih skupova podataka, podataka o arhitekturi i obuci modela. Drugim riječima, detekcija je u praksi crna kutija: daje pouzdanost u brojci, ali nedostaje joj provjerljivost postupka.

U studiji su James Zou, Eric Wu, Yining Mao, Mert Yuksekgonul i Weixin Liang ispitali sedam široko korištenih detektora GPT-a na 88 eseja američkih osmaša iz skupa Hewlett Foundation ASAP i 91 eseju TOEFL testova prikupljenih s kineskog foruma. Dizajn uzorka omogućio je usporedbu između materinskih i nenativnih autora, čime je provjerena hipoteza da detekcija drugačije tretira različite skupine pisaca. Zaključak je bio jednoznačan: detekcija pokazuje jasnu pristranost prema tekstovima nenativnih govornika.

Rezultati su zabrinjavajući. U prosjeku su detektori GPT-a pogrešno označili više od 61% TOEFL eseja kao generirane strojem, a jedan je alat pogrešno označio čak više od 97% tih eseja. Istraživači upiru prstom u mjeru koja se često koristi u pozadini – tzv. „perpleksnost” teksta – jer niska perpleksnost tipična je za jednostavniji, pravocrtan stil kakav nerijetko koriste učenici čiji je engleski drugi jezik. Kada se detekcija nasloni na takav signal, dobiva privid preciznosti, ali gubi pravičnost.

Što zapravo znači perpleksnost? Pojednostavljeno, to je mjera kojom model procjenjuje koliko mu je „teško” predvidjeti sljedeću riječ u nizu. Tekst visokog rječničkog bogatstva i neočekivanih konstrukcija ima višu perpleksnost, dok su jednostavni, gramatički pravilni i često ponovljivi obrasci niže perpleksnosti. Ako detekcija previše vjeruje perpleksnosti, riskira zamijeniti jednostavnost s umjetnošću – i to je ključno za razumijevanje zašto detekcija krivo kažnjava uredan, ali jednostavan stil.

Učenici, urednici, istraživači i poslodavci zato trebaju više od „svjetla semafora”. Potrebna je metodologija koja objašnjava zašto je neki tekst označen, koji su signali pridonijeli odluci i gdje je granica pouzdanosti. Dok takva metodologija ne postane standard, detekcija ima ograničenu primjenjivost kao dokaz, a bolja je kao indikativni alat – polazište za razgovor, a ne završna presuda.

Kako funkcioniraju današnji alati za detekciju

Većina alata radi na dvije osnovne ideje. Prva je jezično modeliranje: koriste manji ili specifično treniran model da procijene vjerojatnost niza riječi. Druga je skup empirijskih značajki, poput udjela rijetkih riječi, dužine rečenica, raspodjele interpunkcije ili učestalosti fraza karakterističnih za modele. U oba slučaja detekcija ovisi o statistici koja je samo posredni dokaz autorstva. To podrazumijeva vjerojatnosnu, a ne determinističku procjenu – zbog čega detekcija nužno nosi rizik pogreške.

Kada se modeli procjene primijene na tekstove nenativnih autora, vjerojatnost predvidljivih obrazaca raste. Upravo zato detekcija dobrim dijelom odražava obrasce u podacima za treniranje: ako je većina „pozitivnih” primjera preuzeta iz visokostiliziranog engleskog, a „negativni” iz jednostavnijih tekstova, granica razdvajanja bit će pristrana. U takvoj konfiguraciji detekcija postaje osjetljiva na kulturne, obrazovne i jezične varijable koje s tehnologijom – strogo gledano – nemaju veze.

Primjeri tipičnih pogrešaka

• Tekstovi s jednostavnijom sintaksom bivaju označeni kao sumnjivi iako su autentični – detekcija miješa ekonomičan stil s umjetnom generiranošću.
• Masovna urednička lektura može sniziti perpleksnost i nenamjerno pojačati signal da je tekst generirao model – detekcija tada prenaglašava površne obrasce.
• Upute koje potiču „jasno i kratko” pisanje stvaraju homogeniziran stil pa detekcija dobiva više „pozitivnih” na stvarnim tekstovima.
• Prevoditeljski alati usklađuju frazeologiju i ritam rečenice, što zamagljuje razliku između ljudskog i strojnog stila – detekcija rasteže kriterije.

Što institucije mogu učiniti već danas

I bez savršene tehnologije moguće je upravljati rizikom. U nastavku je popis praktičnih koraka koji su kompatibilni s akademskim integritetom i uredničkom odgovornošću, a pritom priznaju ograničenja koja detekcija ima.

1. Definirati svrhu: je li detekcija dokaz ili početna indikacija? Jasna komunikacija smanjuje sporove.
2. Uspostaviti transparentne rubrike ocjenjivanja u kojima detekcija nema presudnu ulogu, nego dopunsku.
3. Koristiti usporedbu stilskih uzoraka istog autora kroz vrijeme – lokalna baseline metoda često je pouzdanija od jedne globalne detekcije.
4. Tražiti nacrte, bilješke i međuverzije: trag nastanka teksta često govori više od jednog skora koji daje detekcija.
5. Omogućiti usmene obrane i mini-prezentacije u kojima autor objašnjava argumente – detekcija tada postaje samo pomoćno svjetlo.
6. Uvesti obvezno potpisivanje časti (honor code) i definirati kako se koristi asistent temeljen na AI-u – time se smanjuje pritisak da detekcija bude jedini mehanizam.
7. Za tehničke kolegije, zadatke vezati uz specifične skupove podataka ili lokalne primjere nedostupne modelima – detekcija se tada nadopunjuje kontekstom.
8. Provjeru provoditi višekanalno: kombinirati tematska pitanja, kratke usmene provjere i analitičke rubrike umjesto da se sve prepusti onome što vrati detekcija.
9. Edukacijom smanjiti ovisnost o „čarobnim brojkama” i objasniti što perpleksnost znači – informirani korisnici realnije tumače rezultate koje daje detekcija.
10. Uvesti politiku žalbi: pri visokim ulogima dopušteno je tražiti ponovnu procjenu ili alternativnu provjeru kada detekcija označi rad.
11. Bilježiti slučajeve lažno pozitivnih nalaza i dopunjavati interne smjernice – detekcija će se mijenjati, pa se mora mijenjati i praksa.
12. Potaknuti istraživačke suradnje s laboratorijima kako bi se razvile metričke alternative perpleksnosti – time se dugoročno poboljšava i sama detekcija.

Jezična raznolikost i pristranost

Razlike u rječničkom bogatstvu, frazeologiji i sintaksi među skupinama govornika nisu pogreške – to je normalna posljedica raznolikosti iskustava i obrazovanja. Kada se detekcija prema tim razlikama odnosi kao prema „dokazu” strojnosti, nastaje strukturalna nepravda. Posebno u evaluativnim kontekstima – školske ocjene, stipendije, zapošljavanje – važno je tretirati rezultat koji daje detekcija kao jedan signal među mnogima, a ne kao presudu.

Nadalje, kulturni konteksti oblikuju načine objašnjavanja i argumentiranja. Tekstovi koji su kohezivni, ali manje skloni metaforama i retoričkim zaokretima, mogu imati nižu perpleksnost. To ne znači da su manje vrijedni. Ako detekcija takve tekstove češće označava, nastaje negativna povratna sprega: autori se potiču na umjetno „kompliciranje” stila kako bi izbjegli oznaku – što nije cilj obrazovanja niti uređivanja.

Metodologija i ograničenja studije

Uz spomenutih 88 eseja američkih osmaša i 91 TOEFL esej s kineskog foruma, istraživači su pokrili sedam komercijalno ili javno dostupnih alata. Preciznosti pojedinačnih implementacija nisu objavljene u potpunosti, što je uobičajeno za industrijska rješenja. To opet vraća u fokus temeljni problem: bez otvorenog skupa za testiranje i transparentne dokumentacije teško je raditi znanstvenu replikaciju. Kada je replikacija ograničena, svaki postotak koji prikazuje detekcija treba čitati oprezno.

Tehničke implikacije: izvan perpleksnosti

Postoje i alternativni pristupi. Jedan su forenzičke značajke na razini tipkanja ili uređivanja (npr. vremenske oznake izmjena), drugi su semantičke provjere dosljednosti argumenata kroz različite verzije teksta. Treći su lokalni modeli koji se treniraju na autorovim ranijim radovima. Ni jedan pristup nije univerzalan, ali svi skupa smanjuju rizik da detekcija počiva na jednom osjetljivom signalu. Usto, modeli koji kombiniraju više izvora dokaza – metapodaci nastanka, proces pisanja, stručna procjena – imaju veću šansu ponuditi pravedniji ishod nego što to sama detekcija može.

Važno je i da se ne miješaju kriteriji. Ako je cilj urednička kvaliteta, tada je relevantno koliko je tekst jasan, argumentiran i koristan čitatelju. Ako je cilj akademski integritet, tada su važni tragovi nastanka, razumijevanje sadržaja i dosljednost između usmenog i pisanog izražavanja. Detekcija može pridonijeti u oba slučaja, ali ni u jednom ne bi smjela istisnuti stručni sud i lokalni kontekst.

Komunikacija rezultata prema autorima

Kada institucije koriste alate, način prezentacije presudan je za povjerenje. Umjesto jedne oznake „generirano” korisnije je prikazati nekoliko mjera s kratkim objašnjenjem. Primjerice: „perpleksnost niska”, „leksička raznolikost srednja”, „dosljednost stilskih uzoraka neodređena”. Tako se signal koji vraća detekcija pretvara u informaciju koja se može diskutirati. Ako je odluka važna (npr. ocjenjivanje), poželjno je omogućiti dodatni uvid – usmeni razgovor, zadatak na licu mjesta, ili dodatnu verziju istog rada.

Uloga nastavnika i urednika

Nastavnici i urednici najbolje poznaju ciljeve, razine i okolnosti. Umjesto oslanjanja samo na broj koji izbacuje detekcija, mogu uključiti procesne elemente ocjenjivanja: plan pisanja, sažetak u bilješkama, obrazloženje izvora, kratka usmena provjera. Takva kombinacija smanjuje motivaciju za zlouporabu tehnologije i rasterećuje detekciju od uloge „suca”. Uredništva, s druge strane, mogu razviti etičke smjernice o korištenju asistenata i transparentno komunicirati što je dopušteno – čitatelji cijene jasnoću više od savršene tehnike.

Standardi, otvorenost i odgovornost

Za dugoročni napredak potrebni su otvoreni, raznolikim jezicima i stilovima bogati korpusi za testiranje te standardizirani protokoli evaluacije. Ako industrija i akademska zajednica objave barem dijelove skupova podataka i postupaka, razvijat će se i metoda i povjerenje u rezultate koje vraća detekcija. Otvorenost ne jamči savršenstvo, ali smanjuje rizik nevidljivih pristranosti – a to je, s obzirom na rezultate studije, trenutačno najkritičniji zadatak.

Pitanja koja ostaju otvorena

Koliko je generalizabilna perpleksnost među jezicima koji imaju različite morfosintaktičke strukture? Kako oblikovati modele koji razlikuju jednostavnost kao stilsku odluku od jednostavnosti kao posljedice ograničenog vokabulara? I na kraju, kakav bi bio minimalni skup metapodataka procesa pisanja koji bi rasteretio detekciju, a pritom poštovao privatnost autora? Dok odgovori ne postanu jasniji, jedino razumno tumačenje jest da detekcija daje signal koji treba kombinirati s dodatnim dokazima i stručnim uvidom – posebno kada je u pitanju procjena rada nenativnih autora.