Ljudski mozak stoljećima nadahnjuje istraživače jer posjeduje sposobnost da iz poznatih dijelova stvara nove smislene cjeline i da ih primjenjuje u drugačijim kontekstima. Takva sposobnost naziva se kompozicionalnost i leži u srži jezika, mišljenja i učenja. Znanstvenici danas pokušavaju smanjiti jaz između biološke inteligencije i sustava temeljenih na AI, a jedan nedavni prijedlog – metoda meta-learning for compositionality (MLC) – tvrdi da standardne neuronske mreže mogu pokazati sustavnu, ljudima sličnu generalizaciju kada se ciljano optimiziraju za kompozicionalnost.

Zašto je kompozicionalnost ključ ljudskolike inteligencije

Komunikacija prirodnim jezikom počiva na tome da iz ograničenog skupa elemenata stvaramo neograničen broj novih izraza. Kompozicionalnost znači da značenje cjeline proistječe iz značenja dijelova i pravila njihove kombinacije. Upravo zato, kada jednom usvojimo pojam „ravnoteža”, možemo ga bez napora preslikati na izrazito različite situacije – hodanje po užetu, raspodjelu troškova, odnos posla i privatnog života. Ova fleksibilnost kompozicionalnosti razlikuje ljude od strojeva koji tradicionalno imaju poteškoća s prijenosom znanja u nove kombinacije.

U računalnim sustavima temelj za ovakvu vrstu apstrakcije dugo je bio predmet rasprave. Klasični prigovor tvrdio je da su neuronske mreže – iako snažne kao aproksimatori funkcija – slabe na polju sustavne generalizacije, odnosno da im kompozicionalnost nije prirođena. Upravo tu MLC postavlja izazov: može li se kompozicionalnost usaditi u standardne arhitekture kroz pažljivo dizajniran proces učenja?

Povijesni kontekst i dugotrajna rasprava

U akademskoj zajednici, dvojac filozofa i kognitivnih znanstvenika često se spominje u raspravama o kompozicionalnosti. Njihova kritika usmjerena je bila na to da sustavi zasnovani na konekcionizmu nemaju eksplicitne, kombinatorne reprezentacije koje bi omogućile sustavnu generalizaciju. Iako su njihove teze nastale u doba kada su modeli bili daleko jednostavniji od današnjih, središnja tema – kompozicionalnost – ostala je izazov za polje machine learninga.

Danas, uspon velikih modela i naprednih tehnika obrade jezika donio je nove alate. No unatoč impresivnim rezultatima, mnogi praktičari i dalje uoče tipične „rupe” u ponašanju modela: u zadacima gdje je presudna kompozicionalnost, modeli često dobro pamte uzorke, ali teško sustavno kombiniraju naučene dijelove na dotad neviđene načine.

Što je MLC i kako funkcionira

Metoda meta-learning for compositionality – skraćeno MLC – predlaže da se standardna arhitektura, primjerice seq2seq transformeri, izloži seriji epizoda učenja u kojima model mora naučiti novu riječ ili pravilo te ga odmah primijeniti u više kompozicijskih okvira. Takav pristup metaučenja od početka potiče kompozicionalnost jer model ne samo da uči značenje nove jedinice, nego simultano vježba njezino pravilno uklapanje u raznolike konstrukcije.

Tipičan seq2seq sustav sastoji se od dijela koji se naziva encoder i dijela koji se naziva decoder. Encoder pretvara ulaz u reprezentaciju bogatu kontekstom, dok decoder iz te reprezentacije proizvodi izlazni niz. U MLC postavu, model prima više zadataka raspoređenih u epizode, a svaka epizoda usmjerena je na to da potakne kompozicionalnost tako što zahtijeva dosljednu primjenu naučenog pojma u novim, dotad nepokazanim kombinacijama.

Primjer koji oslikava kompozicionalnost

Zamislimo da model uči novu riječ koja označava „ravnotežu”. Ako je obuka pravilno postavljena, model bi morao moći shvatiti kako ista jezgra značenja funkcionira u različitim konstrukcijama: ravnoteža tijela, ravnoteža proračuna, ravnoteža vremena. Ljudima je ovo trivijalno zahvaljujući urođenoj sklonosti kompozicionalnosti. Za standardnu neuronsku mrežu, međutim, to zahtijeva preciznu organizaciju iskustava – upravo ono što MLC uvodi kako bi se kompozicionalnost razvijala sustavno, a ne prepuštala slučaju.

Arhitekture i tradicije: od konekcionizma do suvremenih mreža

Neuronetski pristupi nadahnuti su načinom na koji mozak obrađuje informacije: mnoštvo jednostavnih jedinica (čvorova) djeluje u paraleli i nesavršeno, ali kroz mnoštvo veza postiže robusno ponašanje. Ovakav način razmišljanja često se dovodi u vezu s pojmovima kao što su connectionism i parallel distributed processing (PDP). U takvim sustavima znanje je raspodijeljeno po težinama veza i aktivacijama čvorova, a generalizacija se javlja kao emergentna posljedica učenja na velikoj količini primjera.

Moderni transformeri – iako se podosta razlikuju od ranih mreža – i dalje nose tu konekcionističku tradiciju. Njihova impresivna svojstva proizlaze iz mehanizama pažnje i dubokih slojeva koji uče kontekstualnu reprezentaciju jezika, slike ili zvuka. Ipak, i u tim sustavima kompozicionalnost se ne javlja automatski: potrebno je usmjeriti proces učenja tako da model ne samo „zapamti” odnose nego da ih nauči kombinirati pravilo po pravilo, što MLC potiče epizodama koje inzistiraju na kompozicionalnosti.

Kako izgleda jedna epizoda MLC učenja

1. Model dobiva novu jedinicu značenja ili pravilo za kombiniranje.
2. U istom ciklusu susreće različite kontekste gdje se ta jedinica mora uklopiti.
3. Evaluacija mjeri ne samo točnost na viđenim primjerima nego i sposobnost generalizacije na nove kombinacije – dakle kompozicionalnost.
4. Povratna informacija (gradijent) usmjerava parametre tako da u sljedećoj epizodi model lakše postiže kompozicionalnost bez memoriranja specifičnih uzoraka.

Ovakav redoslijed okretno naglašava ono što ljudski učenici čine gotovo intuitivno. Kada susretnemo novu riječ, testiramo je u više rečenica, kombiniramo s već poznatim pojmovima i brzo prepoznajemo gdje se uklapa, a gdje ne. MLC pokušava replicirati upravo tu dinamiku kako bi kompozicionalnost postala temeljna strategija, a ne nuspojava.

Uloga obrade prirodnog jezika

Područje natural language processinga (NLP) oduvijek je bilo idealno polje za ispitivanje načela poput kompozicionalnosti. Razlog je očit: jezik je najjasnije mjesto gdje kompozicionalnost blista. Transformeri su standard u NLP-u upravo zato što mogu podnijeti dugačke ovisnosti i zahvatiti složene obrasce. Međutim, bez eksplicitnog pritiska da generaliziraju sustavno, modeli često razviju kratice koje rade na treniranom skupu, ali zakažu kad trebaju pokazati kompozicionalnost na nov način. Ideja MLC pristupa jest da na višoj razini nadgleda i vodi učenje tako da kompozicionalnost bude cilj sama po sebi.

Usporedba s ljudima i što znači „ljudskolika” kognicija

Kada kažemo da model pokazuje ljudskoliku kogniciju, ne impliciramo da dijeli neurobiološku osnovu s ljudima. Umjesto toga, gledamo na funkcionalnu sličnost: može li sustav prepoznati pravila i primijeniti ih u novim kombinacijama kao što mi to činimo? Ako je odgovor potvrdan, tada govorimo da sustav demonstrira kompozicionalnost sličnu ljudskoj. MLC pristup nudi put da se standardne arhitekture dovedu bliže tom cilju.

U praksi to znači da model, nakon skromne uvodne izloženosti novom konceptu, odmah demonstrira snalaženje u različitim konstrukcijama – ne zato što je vidio točne primjere, već zato što je usvojio princip kombiniranja. To je srž onoga što kompozicionalnost znači u svakodnevnom jezičnom i kognitivnom funkcioniranju.

Odnos prema općoj umjetnoj inteligenciji

Zamišljena opća umjetna inteligencija – često nazvana AGI – poveziva se s fleksibilnošću i sposobnošću prijenosa znanja među domenama. Ako želimo sustav koji će rješavati raznolike zadatke i prepoznavati obrasce u novim okolnostima, kompozicionalnost mora biti njegov centralni mehanizam. MLC, iako specifičan pristup, spada u širu obitelj metoda koje ciljano potiču upravo tu vještinu, čineći kompozicionalnost kriterijem uspjeha umjesto implicitnog nusproizvoda.

Što MLC nije

Važno je naglasiti da MLC ne uvodi egzotičnu novu arhitekturu koja bi zamijenila postojeće modele. Naprotiv, oslanja se na standardne komponente – primjerice seq2seq transformere – i preusmjerava način učenja. Drugim riječima, kompozicionalnost se ne „ugrađuje” tvrdim kodiranjem pravila, nego se cilja kroz pametno dizajniran kurikulum epizoda koji sustavno prisiljava mrežu da sklapa nova značenja iz već naučenih dijelova.

Metodološka razmatranja: zašto epizode djeluju

Zašto bi epizodna organizacija učenja poticala kompozicionalnost? Jedan je razlog što epizode stvaraju mini-okvire problema u kojima je jedini način postizanja uspjeha primjena naučenog pravila na niz novih kombinacija. Ako je povratna informacija dosljedna i evaluacija dovoljno raznolika, model nema koristi od pukog memoriranja – prisiljen je internalizirati principe. Time kompozicionalnost postaje najekonomičnija strategija.

Dodatno, epizodne sheme bliske su načinu na koji ljudi uče: raspoređujemo vježbanje, miješamo teme, testiramo se u novim okolnostima i time učvršćujemo generalna pravila. Kognitivna znanost odavno je pokazala da usitnjavanje gradiva i promišljeno izmjenjivanje zadataka povećava prijenos u nova okruženja. MLC je računalna artikulacija iste ideje – s eksplicitnim fokusom na kompozicionalnost.

Primjene izvan jezika

Iako je jezik arhetipska domena kompozicionalnosti, ista načela vrijede u pogledima na akcije, percepciju, pa i planiranje. Ako robot uči osnovne radnje poput „uhvati”, „okreni”, „postavi”, kompozicionalnost mu omogućuje da ih spaja u nove sekvence bez vidljivog primjera za svaku moguću kombinaciju. MLC je stoga relevantan i za sustave koji trebaju slagati složene vještine iz jednostavnih modula, pri čemu je upravo kompozicionalnost mjera uspjeha.

Uloga podataka i kurikuluma

Ni najbolja metoda ne može nadjačati loše odabrane primjere. Za kompozicionalnost je presudno da podaci različitim kombinacijama provjeravaju isto pravilo. Kurikulum koji postupno pojačava težinu, uvodi distraktore i varira kontekst čini da model prirodno razvija otpornost na površinske obrasce. U takvim uvjetima kompozicionalnost se iskazuje kao sposobnost da se novo pravilo „zavrne” u raznolike izraze, bez oslanjanja na memorirane predloške.

Praktični smjernice za timove koji žele poticati kompozicionalnost

• Definirajte cilj evaluacije: mjerite uspjeh upravo kroz kompozicionalnost, ne samo kroz točnost na treniranju.
• Koristite epizode: rasporedite zadatke tako da nova jedinica odmah sudjeluje u kombinacijama koje prije nisu viđene.
• Razdvojite memoriranje i pravila: birajte skupove koji onemogućuju rješenja temeljena na površinskim statistikama; naglasite kompozicionalnost.
• Uključite povratnu informaciju na razini epizode: učinite da se nagrađuje konzistentna primjena pravila, odnosno kompozicionalnost.
• Redovito stres-testirajte: kreirajte posebne skupove koji ciljano provjeravaju kompozicionalnost pod izmijenjenim uvjetima.

Kognitivna inspiracija i ograničenja

Kompozicionalnost je duboko ukorijenjena u ljudsku spoznaju, no strojevi ipak nemaju tijelo, motivaciju ni iskustvo kao ljudi. MLC stoga treba promatrati kao moćan, ali specifičan alat: on potiče kompozicionalnost u ograničenim uvjetima zadanih zadataka. Kako bismo došli bliže sveprisutnoj fleksibilnosti, potrebno je kombinirati ovakve metode s pristupima koji modelima daju bogatiju interakciju sa svijetom, višemodalne tokove i dugoročnu memoriju – sve to kako bi kompozicionalnost imala na čemu djelovati.

Tehničke napomene o implementaciji

U praksi, MLC se može provesti na standardnim okvirima. Transformeri kao seq2seq modeli već imaju jasnu dihotomiju encoder/decoder. Epizodni zadaci mogu se orkestrirati nad uobičajenim skupovima podataka ili njihovim sintetičkim varijantama. Ključno je da svaka epizoda eksplicitno zahtijeva kompozicionalnost: primjerice, nova morfološka oznaka ili novo semantičko obilježje pojavljuje se u više konstrukcijskih okvira odmah nakon uvođenja.

Redovito praćenje ponašanja kroz metrike ističe napredak ili regresiju. Ako model postiže visoke rezultate samo na viđenim kombinacijama, potrebno je podebljati raznolikost epizoda i pooštriti kriterije kako bi kompozicionalnost stvarno postala prenesena vještina, a ne slučajna pogodnost.

Primjeri područja gdje kompozicionalnost čini razliku

1. Razumijevanje i generiranje jezika u NLP-u kada se pojave nove riječi, tvorbe ili konstrukcije.
2. Upravljanje radnjama u robotici, gdje kompozicionalnost omogućuje spajanje osnovnih primitiva u nove zadatke.
3. Vizualno rasuđivanje, gdje se svojstva i odnosi među objektima moraju kombinirati u zaključke koji nisu izravno viđeni.
4. Planiranje i odlučivanje, gdje se pravila i ciljevi spajaju u strategije koje zahtijevaju kompozicionalnost.

Usporedba s alternativnim pristupima

Postoje i drugi načini kako potaknuti sustavnu generalizaciju: eksplicitna pravila, simboličko-neuronske hibridne arhitekture ili prompt-inženjering kojim se model vodi prema pravilima. Sve te strategije mogu donijeti pomake, no imaju cijenu u složenosti ili ograničenjima domene. MLC se izdvaja time što unutar standardnih okvira učini da kompozicionalnost bude poželjna strategija koju mreža spontano usvaja kroz epizode.

Drugim riječima, umjesto da kompozicionalnost „ručnim radom” ugrađujemo u arhitekturu, s MLC-om osmišljavamo uvjete učenja u kojima je kompozicionalnost najisplativiji odgovor. To je privlačno istraživačima i inženjerima jer omogućuje uporabu postojećih tehnoloških ulaganja, a svejedno povećava sposobnost sustavne generalizacije.

Mjerenje uspjeha i analize pogrešaka

Da bismo znali djeluje li metoda, potrebno je mjeriti točno ono do čega nam je stalo: kompozicionalnost. To obično podrazumijeva da se model testira na kombinacijama koje su principijelno moguće iz naučenih dijelova, ali nikada nisu viđene tijekom učenja. Ako model tada pokaže stabilan učinak, to je jasan indikator da kompozicionalnost nije slučajna, nego stečena sposobnost.

Analize pogrešaka usmjeravaju poboljšanja: kad i gdje model pada? Jesu li pogreške vezane uz specifične kombinacije ili uz nejasno pravilo? Takve analize pomažu izoštriti epizode i kurikulum, kako bi kompozicionalnost bila sve robusnija u kasnijim fazama.

Što ova ideja znači za industrijsku primjenu

U proizvodnim sustavima, razlozi za uvođenje metoda koje potiču kompozicionalnost prilično su pragmatični. Aplikacije koje se susreću s novim pojmovima – nove šifre artikala, novi propisi, nove metafore u korisničkim upitima – traže brzu prilagodbu bez dodatnog dugotrajnog treniranja. Ako sustav pokazuje kompozicionalnost, moći će u hodu uklopiti nove elemente u postojeća pravila, čime se smanjuju troškovi i vrijeme prilagodbe.

Usto, kompozicionalnost povećava transparentnost. Kad znamo da se sustav oslanja na opća pravila kombiniranja, lakše je objasniti ponašanje i donositi odluke o ograničenjima i sigurnosnim mjerama. Za mnoge regulirane domene to je velika prednost.

Prepreke i otvorena pitanja

Iako je smjer jasan, izazovi su stvarni. Kako kreirati epizode koje su dovoljno raznolike, a opet usklađene s poslovnim ciljevima? Koliko dodatnog vremena i podataka zahtijeva kurikulum koji gura kompozicionalnost u prvi plan? Kako izbjeći da se kompozicionalnost sruši pri prelasku u potpuno novu domenu? To su pitanja na koja odgovori ovise o praksi, ali polazišna točka ostaje ista: evaluirati i nagrađivati kompozicionalnost, a ne samo površnu točnost.

Pojmovnik i kratke napomene

• AI: krovni izraz za sustave koji oponašaju kognitivne funkcije. U ovom tekstu kompozicionalnost je središnja točka promišljanja.
• machine learning: skup metoda učenja iz podataka; bez pažljive postave lako proklizi u memoriranje, pa zato kompozicionalnost treba ciljano poticati.
• meta-learning for compositionality (MLC): pristup metaučenja kojim se epizodama potiče kompozicionalnost u standardnim arhitekturama.
• seq2seq: model koji pretvara ulazni niz u izlazni preko encoder/decoder komponenata; u MLC-u služi kao nositelj kompozicionalnosti.
• NLP: područje obrade prirodnoga jezika; idealno za ispitivanje je li kompozicionalnost postignuta.
• AGI: hipotetska opća umjetna inteligencija; bez kompozicionalnosti teško dostižna.

Ključne poruke za čitatelja praktičara

1. Planirajte evaluaciju tako da izravno mjeri kompozicionalnost, ne samo točnost.
2. Uvedite epizode i zadatke koji iziskuju primjenu novih jedinica u mnogim kombinacijama.
3. Dizajnirajte kurikulum koji ciljano onemogućava kratice temeljene na memoriranju.
4. Koristite standardne arhitekture i postojeće alate – kompozicionalnost se gradi kroz organizaciju učenja.
5. Pratite pogreške i pooštravajte uvjete kako bi kompozicionalnost postajala sve robusnija.

Svaki od ovih koraka ima zajednički nazivnik: kompozicionalnost. Kada je ona eksplicitni cilj i mjerilo, i tradicionalno „crne kutije” počinju pokazivati obrasce ponašanja koji se lakše objašnjavaju i bolje prenose među domenama. U tom smislu MLC predstavlja pragmatičan korak naprijed: ne mijenja sve, ali premješta fokus na ono što najviše treba sustavima koji žele biti prilagodljivi – a to je kompozicionalnost, sposobnost da se novo spaja sa starim prema jasnim pravilima.

U konačnici, bez obzira razvijate li jezične asistente, sustave za tumačenje dokumenata ili agente koji planiraju radnje u fizičkom svijetu, ista poruka odzvanja: učinite da kompozicionalnost bude prvo što mjerite i zadnje što kompromitirate. Tek tada će modeli, pa i standardne mreže, pokazati ponašanje koje podsjeća na ljudsko – djelotvorno, prenosivo i objašnjivo – jer upravo to kompozicionalnost omogućuje u praksi.