- NASLOV I UVOD
Generativna umjetna inteligencija ulazi u svaku nišu – od aplikacija za spojeve do bankarstva – ali se često oslanjamo na moderacijske modele iz doba foruma: dugačka pravila, loši prijevodi, preopterećeni moderatori. Kada chatbot ranjivom tinejdžeru daje opasne savjete ili generator slika proizvodi zloupotrebljive sadržaje, šteta je već učinjena.
Startup Moonbounce, koji vodi bivši čelnik poslovne integritete u Facebooku, želi to promijeniti tako da pravila pretvori u izvršiv kod, ugrađen između korisnika i modela. Ako uspije, neće samo pomoći aplikacijama da „prođu“ kroz regulativu – mogao bi stvoriti novu, gotovo nevidljivu razinu kontrole nad time što KI smije, a što ne smije raditi.
U nastavku analiziramo što Moonbounce gradi, zašto je to važno za globalnu scenu te kakve posljedice može imati za Europu i regiju jugoistočne Europe.
- VIJEST UKRATKO
Prema pisanju TechCruncha, Moonbounce iz San Francisca prikupio je 12 milijuna američkih dolara u investicijskoj rundi koju su vodili Amplify Partners i StepStone Group. Tvrtku su osnovali Brett Levenson, koji je vodio područje poslovne integritete u Facebooku, i Ash Bhardwaj, inženjer s iskustvom u izgradnji oblaka i KI‑infrastrukture u Appleu.
Kako navodi TechCrunch, Moonbounce razvija sigurnosni sloj koji se priključuje ondje gdje nastaje sadržaj – bilo da ga generiraju korisnici ili modeli. Tvrtka koristi vlastiti veliki jezični model koji čita pravilnike klijenata, prevodi ih u strojno razumljive logičke uvjete i primjenjuje ih u stvarnom vremenu, s odgovorima u manje od 300 milisekundi. Sustav može blokirati sadržaj, usporiti njegovo širenje do ručne revizije ili poduzeti druge akcije.
TechCrunch piše da Moonbounce već sada podržava više od 40 milijuna provjera dnevno i pokriva preko 100 milijuna dnevno aktivnih korisnika na partnerskim platformama, ponajprije na servisima za KI pratnju, ulogu i generiranje slike/videa. Novi kapital usmjerit će se i na funkcije za dinamičko usmjeravanje razgovora, primjerice kada se pojave teme samoozljeđivanja.
- ZAŠTO JE TO VAŽNO
Moonbounce pokušava standardizirati ono što je godinama bilo improvizirano: kako apstraktne „smjernice zajednice“ pretvoriti u konkretne odluke koje se mogu provesti na razini koda.
Tko dobiva?
- Manje i srednje platforme s korisničkim sadržajem, od aplikacija za spojeve do gaming‑servisa, koje sada trpe isti reputacijski i pravni pritisak kao i globalni giganti, ali nemaju njihove resurse.
- Poduzeća u reguliranim sektorima – bankarstvo, zdravstvo, obrazovanje – koja žele koristiti generativnu KI, ali moraju dokazati da kontroliraju rizike i imaju revizijske tragove.
Tko gubi?
- Tradicionalne „moderacijske farme“, gdje ljudi u nekoliko sekundi odlučuju o prijavljenom sadržaju na temelju loše prevedenih dokumenata; u usporedbi s ugrađenim pravilima u milisekundama, takav pristup izgleda sve teže obranjiv.
- Pružatelji KI‑rješenja koji su sigurnost tretirali kao PR, a ne kao osnovnu infrastrukturu. Ako postoji tržište neovisnih sigurnosnih slojeva, njihovo ignoriranje postaje i pravni i poslovni rizik.
No, najveća promjena tiče se raspodjele moći: tko upravlja „motorom politike“, u praksi odlučuje koje su interakcije dopuštene. Danas o tome obično odlučuju interno odjeli pravnika i trust & safety timovi pojedine platforme. Sutra bi to mogla biti šačica infrastrukturnih tvrtki na koje se oslanjaju stotine aplikacija.
To otvara nova pitanja za demokratski nadzor: čiji se vrijednosni sustav ugrađuje u te motore, tko ih nadzire i kako korisnici ili regulator mogu osporiti odluku sustava.
- ŠIRA SLIKA
Moonbounce se uklapa u nekoliko velikih trendova u razvoju digitalnog ekosustava:
Sve je „as-a-service“. Kao što danas koristimo plaćanja, autentikaciju ili analitiku kroz vanjske servise, tako se i sigurnost sadržaja seli u oblik API‑ja. Generativna KI postaje temeljna usluga, pa nastaje i potreba za pratećom sigurnosnom infrastrukturom.
Konkretnim incidentima raste politički značaj. Slučajevi vezani uz mentalno zdravlje mladih, zloupotrebu intimnih slika i slične tragedije pomaknuli su KI sigurnost iz teorijske rasprave u središte javnog interesa. Odgovori tipa „radimo na boljim filterima“ više nisu dovoljni.
Specijalizirana infrastruktura kao nova norma. Povijest interneta pokazuje da se kompleksni problemi često izdvoje u specijalizirane tvrtke: plaćanja (Stripe, Adyen), sigurnost (Cloudflare), e‑mail dostava itd. Moderacija i upravljanje rizicima kod KI‑sustava sada prolaze kroz isti proces.
Veliki tehnološki igrači primjenjuju vlastite pristupe – OpenAI, Google, Anthropic i Meta imaju interne sigurnosne timove i modele – ali to prvenstveno štiti njihove ekosustave. Moonbounce pogađa „dugi rep“: stotine manjih aplikacija koje nemaju resurse da sve izgrade same, no i dalje snose odgovornost za štetu.
Ako se nekoliko takvih sigurnosnih slojeva etablira kao industrijski standard, mogli bismo završiti u situaciji u kojoj ista nevidljiva infrastruktura filtrira razgovore u aplikaciji za spojeve u Zagrebu, obrazovnoj platformi u Ljubljani i fintech rješenju u Beogradu.
- EUROPSKI I REGIONALNI KUT
Za Europsku uniju, pa tako i Hrvatsku, ova priča ima vrlo praktičnu dimenziju. Uredba o umjetnoj inteligenciji (EU AI Act) uvodi obveze upravljanja rizicima, transparentnosti i nadzora za širok spektar KI‑sustava, a Uredba o digitalnim uslugama (DSA) već traži od velikih platformi procjenu i smanjenje sistemskih rizika.
Mnoge hrvatske i regionalne tvrtke – od banaka i telekoma do startupa iz Zagreba, Splita ili Sarajeva – razmišljaju kako ugraditi KI u svoje usluge, a da ne otvore Pandorinu kutiju rizika. Kupnja gotove sigurnosne infrastrukture, poput one koju nudi Moonbounce ili budući europski konkurenti, može biti privlačan put.
Istovremeno, postoje specifičnosti naše regije:
- osjetljivost na teme poput govora mržnje, nacionalnih i vjerskih tenzija;
- relativno male jezične zajednice (hrvatski, srpski, slovenski itd.), za koje „veliki modeli“ često nemaju dovoljno kvalitetnih podataka.
To znači da će generički sigurnosni modeli, trenirani ponajprije na engleskom, vjerojatno raditi pogreške u kontekstu Balkana – i u prepoznavanju rizika i u razlikovanju legitimnog govora od zlonamjernog sadržaja. Regionalni igrači tu mogu ponuditi vrijednost kroz lokalizirane politike i podatke, bilo kao partneri globalnih rješenja ili kao samostalni pružatelji usluga.
- POGLED NAPRIJED
Što je realno očekivati u iduće dvije do tri godine?
Sigurnost kao standardni sloj arhitekture. Tvrtke koje danas dizajniraju nove proizvode s KI‑om vjerojatno će vrlo brzo početi planirati i poseban „safety layer“, baš kao što planiraju baze podataka ili autentikaciju korisnika.
Jače povezivanje s regulacijom. Kako EU AI Act i DSA budu ulazili u punu primjenu, regulator će sve manje tolerirati ad‑hoc sigurnosne mjere. Čim jednom dokažete da je tehnički moguće određene rizike kontrolirati u realnom vremenu, postaje teže opravdati zašto to ne činite.
Konsolidaciju tržišta. Danas postoji prostor za više startupova koji nude slične funkcije. Dugoročno je vjerojatno da će nekoliko velikih igrača (možda uključujući i Moonbounce) dominirati, bilo kao samostalne tvrtke ili kao dio većih oblaka i KI‑platformi.
Raspravu o transparentnosti. Civilno društvo, akademska zajednica i mediji počet će pažljivije promatrati kako ovi sustavi donose odluke. Bit će pritiska za revizije, objavu informacija o treniranju modela, pa i za stvaranje otvorenih standarda za razmjenu „politike kao koda“.
Za tvrtke u Hrvatskoj i široj regiji sada je pravi trenutak za strateška pitanja: hoćete li oslanjanje na generativnu KI uvezati s vanjskom sigurnosnom infrastrukturom, graditi sve interno ili udružiti snage sa srodnim akterima (npr. na razini jedne industrije)? Odgovor će odrediti ne samo razinu rizika, već i brzinu kojom možete uvoditi inovacije.
- ZAKLJUČAK
Moonbounce ilustrira smjer u kojem se kreće ekosustav generativne KI: od improvizirane, ljudski vođene moderacije prema standardiziranoj, infrastrukturnoj sigurnosti. Pretvaranje pravila u kod koji se izvršava u milisekundama izgleda gotovo neizbježno.
No ključna dilema ostaje: tko će pisati i kontrolirati taj kod – pojedinačne platforme, javni regulator ili mali krug privatnih pružatelja infrastrukture? Kako se više naših razgovora, odluka i odnosa seli u posredovanje KI‑sustava, to pitanje prestaje biti tehničko i postaje društveno. Što biste vi, kao tvrtka, regulator ili korisnik, htjeli da bude ugrađeno u „sigurnosni sloj“ koji sve to filtrira?
