1. Naslov i uvod
Generativna umjetna inteligencija upravo je dotaknula jedno od rijetkih područja u kojem zakon ne poznaje milost: seksualno zlostavljanje maloljetnika. Nova tužba protiv xAI‑a, kompanije Elona Muska, zbog onoga što su navodno generirali njezini Grok modeli slika, nije samo još jedna tech afera. To je rani test odgovornosti AI laboratorija za zloporabe koje su bile više nego predvidljive. U nastavku analiziramo što se xAI‑u stavlja na teret, zašto bi ovaj slučaj mogao promijeniti praksu u cijeloj industriji, kako se uklapa u europske propise i što znači za tvrtke u Hrvatskoj i regiji.
2. Vijest ukratko
Prema pisanju TechCruncha, tri anonimne tužiteljice podnijele su kolektivnu tužbu protiv xAI‑a pred američkim saveznim sudom za sjeverni okrug Kalifornije. Tvrde da su Grokovi modeli iz stvarnih fotografija na kojima su bile kao maloljetnice generirali eksplicitne seksualne slike.
U tužbi se navodi da xAI nije primijenio osnovne zaštitne mjere koje koriste drugi vodeći AI laboratoriji – primjerice tehničke blokade stvaranja pornografije s prikazom stvarnih osoba, posebice djece. Osobne fotografije sa školskih događaja i društvenih mreža navodno su se unosile izravno u Grok ili u aplikacije trećih strana temeljene na Groku, koje su zatim stvarale nage ili snažno seksualizirane verzije.
Tužiteljice traže da se slučaj prizna kao kolektivna tužba u ime svih čije su maloljetničke fotografije na sličan način zlorabljene te potražuju naknadu štete prema više američkih zakona o zaštiti djece i odgovornosti tvrtki. U tužbi se ističe i Muskovo javno promoviranje Groka kao alata sposoban za seksualni sadržaj i prikaz stvarnih osoba. xAI, navodi TechCrunch, nije komentirao optužbe.
3. Zašto je to važno
Ovaj slučaj udara u samo srce dosadašnjeg pristupa mnogih AI kompanija: isporučiš vrlo moćan „opći“ model, dodaš nekoliko filtera i nadaš se da zlouporabe ostaju problem korisnika. Tužiteljice tvrde suprotno – da je kod ovako očitog rizika već sama arhitektura modela oblik nemara.
Ako sud barem djelomično prihvati takvo tumačenje, posljedice neće stati na xAI‑u. Pod povećalom će se naći svi modeli slike koji dopuštaju eksplicitno uređivanje stvarnih fotografija. Logika je jednostavna: ako je moguće „svući“ odraslu osobu, netko će pokušati i s djetetom – a upravo je ta predvidljivost ono što stvara pravnu odgovornost.
Paradoksalno, relativni „pobjednici“ mogli bi biti oprezniji laboratoriji i tvrtke koje su ulagale u strože filtere, detekciju dobi i blokadu eksplicitnih preinaka stvarnih slika. Njihovi dodatni troškovi sada izgledaju kao nužna polica osiguranja.
Za tvrtke u Hrvatskoj i široj regiji – od zagrebačkih startupova do agencija koje u kampanje integriraju AI generiranje slika – ovo znači da sigurnost prestaje biti samo etičko pitanje i postaje pitanje pravnog rizika. Pojavit će se vrlo konkretna pitanja: smijemo li uopće dopuštati nagost ako korisnik polazi od stvarne fotografije? Kako prepoznati školske fotografije? Koliko odgovaramo za aplikacije trećih strana u EU koje koriste naše API‑je i nude funkcije tipa „svuci bilo koga na slici“?
4. Šira slika
Tužba protiv Groka uklapa se u tri šira trenda: eksploziju AI‑generirane pornografije, rast deepfake zlostavljanja žena i maloljetnika te sve veću frustraciju zakonodavaca i policije sporom reakcijom velikih platformi.
Klasične društvene mreže godinama su se branile tezom da „samo“ hostaju sadržaj koji su korisnici učitali. Kod generativne AI situacija je bitno drukčija: sam sustav stvara sporni sadržaj. To ga pravno približava konceptu neispravnog proizvoda (npr. nesiguran automobil) više nego statusu neutralne platforme.
Naravno, savršena tehnološka zaštita ne postoji, ali postoji niz razumnih mjera:
- potpuno zabraniti generiranje eksplicitnog sadržaja s fotorealističnim licima;
- provoditi analizu dobi i sadržaja na ulaznim i izlaznim slikama;
- prepoznavati pokušaje stvaranja nagih verzija stvarnih fotografija i takve zahtjeve odbijati.
Većina velikih igrača tvrdi da već radi nešto od navedenog. Ključna je optužba da je xAI svjesno odabrao opušteniji pristup kao tržišnu prednost. Ako sudovi to ocijene kao propust u dizajnu, ideja „necenzurirane“ AI vrlo brzo može postati poslovno neodrživa.
Povijest nas uči kako se ovo obično razvija: društvene mreže prvo su omogućile gotovo sve, a zatim godinama, pod pritiskom skandala, gradile moderacijske sustave. S generativnom AI taj se ciklus skraćuje – javnost i regulatori manje su spremni tolerirati filozofiju „vidjet ćemo poslije“, osobito kad su u pitanju seksualizirane slike djece.
5. Europski i regionalni kut
Za Europsku uniju ovaj slučaj je praktična ilustracija rizika koje nastoje adresirati Akt o digitalnim uslugama (DSA) i nadolazeći Akt o umjetnoj inteligenciji.
DSA već sada nameće vrlo velikim platformama obvezu procjene i ublažavanja sistemskih rizika, među kojima su eksplicitno navedeni materijali seksualnog zlostavljanja djece i deepfakeovi. Servis u EU koji bi ponudio mogućnosti slične Groku mogao bi, osim privatnih tužbi, očekivati i istrage Europske komisije te nacionalnih tijela.
Akt o AI cilja još ranije u lancu – na pružatelje općih AI modela koji se koriste u nizu aplikacija. Od njih će se očekivati „stanje tehnike“ u sigurnosnim mjerama, što je teško pomiriti s modelom koji dopušta „svlačenje“ stvarnih osoba.
Za Hrvatsku i jugoistočnu Europu to znači da integratori i developeri više neće moći bez razmišljanja „preuzeti američki model“. Ako ciljaju korisnike u EU, odgovarat će po europskim pravilima. Čak i izvan EU – recimo na Zapadnom Balkanu – javni i medijski pritisak u slučaju zloporabe dječjih fotografija bit će ogroman, dok su resursi policije i sudova često ograničeni.
Istodobno se otvara prilika: europski i regionalni pružatelji usluga mogu se pozicionirati kao „pouzdana AI“ – s jasnim zabranama manipulacije fotografija stvarnih osoba, suradnjom s linijama za prijavu zlostavljanja te transparentnim protokolima za postupanje u incidentima.
6. Pogled unaprijed
Nije vjerojatno da će ovaj slučaj odmah završiti brzom, povijesnom presudom. Realniji je scenarij dugotrajnog postupka koji će, unatoč tome, već kratkoročno promijeniti ponašanje industrije.
Sama pomisao da bi na sudu mogli završiti interni mailovi u kojima se sigurnost gura u stranu zbog rasta, ili prezentacije koje se hvale „manje cenzuriranom“ AI, dovoljna je da uprave i investitori postanu oprezniji. U idućih 12–24 mjeseca možemo očekivati:
- De facto standarde sigurnosti za AI slike. Kombinaciju detekcije maloljetnika, CSAM filtera, zabrane eksplicitnih preinaka stvarnih fotografija i boljeg praćenja osjetljivih generacija.
- Strože ugovore s developerima. Pružatelji API‑ja tražit će detaljne logove, nadzor nad zlouporabama i pravo da isključe aplikacije koje ignoriraju sigurnosne zahtjeve.
- Sukladnost i osiguranje kao novi filter. Veći klijenti i osiguravatelji tražit će konkretne odgovore: kako sprječavate scenarije zlostavljanja djece, što se događa kad se otkrije incident, tko snosi odgovornost?
Na razini propisa, slučajevi poput ovog dodatno će potaknuti prijedloge za reguliranje deepfakeova, sintetičkog CSAM‑a i odgovornosti pružatelja temeljnih modela. Rizik je preoštra regulacija koja bi ugušila i legitimne, istraživačke ili umjetničke primjene.
Prilika leži u jasnoj podjeli: modeli koji rade s fotografijama stvarnih, prepoznatljivih ljudi – osobito djece – moraju biti u znatno strožem režimu od onih koji generiraju isključivo fiktivne likove ili nespecifičnu umjetnost. Tvrtke koje tu granicu prihvate i implementiraju već danas imat će prednost kada „tvrda“ pravila stupe na snagu.
7. Zaključak
Tužba protiv Groka označava prekretnicu: postavlja pitanje mogu li AI laboratoriji graditi brend na „necenzuriranoj“ moći modela, a istovremeno prati ruke od najpredvidljivijih zloporaba. Moj je stav jasan: ako vaš sustav može od fotografije maturalne večeri napraviti golišavu verziju 16‑godišnjakinje, to nije samo „pogrešna upotreba“, već pogrešan dizajn. Ključno pitanje za industriju – i za regulatore, od Washingtona do Bruxellesa i Zagreba – glasi: koliko smo spremni usporiti inovaciju kako bismo osigurali da zaštita djece nikada ne bude predmet kompromisa u strategiji proizvoda?
