Uvod
Tri djevojke iz savezne države Tennessee tvrde da je njihovim školskim i obiteljskim fotografijama jedna stvar zajednička: sve su završile kao iznimno realistični prikazi seksualne zloporabe djece, generirani pomoću Groka, modela umjetne inteligencije tvrtke xAI u vlasništvu Elona Muska.
Nova skupna tužba u SAD‑u nije samo još jedan skandal vezan uz platformu X. To je test koliko daleko generativna AI industrija može ići bez ozbiljnih sigurnosnih kočnica – i gdje sudovi, osiguravatelji i regulatorna tijela, uključujući ona u EU čija je članica i Hrvatska, povlače crtu.
Vijest ukratko
Kako izvještava Ars Technica, tri mlade žene iz Tennesseeja i njihovi skrbnici podnijeli su prijedlog skupne tužbe pred američkim federalnim sudom protiv Elona Muska, xAI‑a i povezanih društava. U tužbi navode da je funkcija generiranja slika u Groku iskorištena kako bi se na temelju njihovih stvarnih fotografija iz maloljetničke dobi stvorile eksplicitne slike i videozapisi, što predstavlja AI‑generirani CSAM.
Lanac događaja navodno je počeo anonimnom porukom na Instagramu od korisnika Discorda, koji je jednoj od djevojaka dojavio da se u internetskoj mapi nalaze eksplicitne AI slike nje i najmanje još 18 maloljetnica. Istraga lokalne policije potom je, prema navodima tužbe, dovela do počinitelja koji je imao pristup njezinu Instagram računu te je koristio aplikaciju treće strane koja je preko licenciranog pristupa slala upite Groku.
Tužitelji tvrde da xAI takvim posrednicima prodaje pristup Groku i da se sav generirani sadržaj obrađuje i pohranjuje na xAI poslužiteljima, što znači da tvrtka CSAM i "posjeduje" i "distribuira". Traže sudsku zabranu daljnjih štetnih izlaza modela i naknadu štete za, kako procjenjuju, potencijalno tisuće oštećenih maloljetnika. xAI je ranije javno negirao da Grok proizvodi CSAM; na novu tužbu još nije odgovorio.
Zašto je to važno
Ovaj slučaj razotkriva nekoliko ključnih slabih točaka u načinu na koji je industrija generativne AI dosad funkcionirala.
Nisu u pitanju imaginarni likovi, nego stvarna djeca. Žrtve znaju da se iza lažnih eksplicitnih slika kriju njihove stvarne fotografije koje su objavile kao maloljetnice. Prema navodima tužbe, uz datoteke su navedena i njihova prava imena i nazivi škola. To znači dugoročan strah: jesu li slike završile kod razrednih kolega, na fakultetu, kod budućih poslodavaca? Hoće li netko pokušati stupiti s njima u kontakt kao posljedica tih sadržaja?
Poslovni model gura sigurnost u drugi plan. xAI je, sudeći prema javno dostupnim podacima i navodima tužbe, reagirao na prve kritike ograničavanjem Groka na pretplatnike, umjesto radikalnim pooštravanjem filtara. Istodobno je navodno licencirao pristup modelu aplikacijama trećih strana, dok je obrada i isporuka generiranih slika ostala na njegovoj infrastrukturi.
To znači da se prihod ostvaruje na više razina – kroz X, kroz zasebnu aplikaciju Grok Imagine, kroz API‑je za partnere – ali je odgovornost za zlouporabu "razmazana" između lanaca. Upravo takve lance europski i američki regulatori već dulje vrijeme označavaju kao visokorizične.
Otvara se pitanje kaznene i građanske odgovornosti pružatelja AI‑a. Zakoni o dječjoj pornografiji u SAD‑u, Hrvatskoj i većini europskih država vrlo su strogi: već samo posjedovanje ili prijenos CSAM‑a kazneno je djelo. Ako sud zaključi da pružatelj modela posjeduje ili distribuira CSAM samim tim što se datoteke generiraju i šalju s njegovih servera, cijela industrija morat će preispitati svoje sigurnosne mehanizme.
Do sada su se mnoge platforme skrivale iza logike "mi samo hostamo sadržaj korisnika". Generativna AI tu logiku ruši – sadržaj nastaje unutar sustava koji je dizajnirao i kontrolira upravo pružatelj usluge.
Šira slika
Tužba protiv xAI‑a dolazi nakon niza incidenata s AI‑generiranim seksualnim sadržajem:
- deepfake pornografija poznatih osoba i novinarki;
- slučajevi u školama gdje učenici generiraju eksplicitne slike kolegica ili profesorica;
- botovi na Discordu i Telegramu koji na zahtjev stvaraju seksualizirane likove.
Grok podiže ulog jer kombinira visoku razinu automatizacije s mogućnošću da iz autentičnih fotografija maloljetnika stvara uvjerljiv CSAM. Istraživanja na koja se poziva Ars Technica ranije su procijenila da je Grok generirao milijune seksualiziranih slika, među njima desetke tisuća s navodnim maloljetnicima, a analiza Grok Imagine aplikacije pokazala je da je oko 10 % pregledanih rezultata nalikovalo CSAM‑u.
Drugi veliki igrači – OpenAI, Google, pa i mnogi manji – s vremenom su ipak pooštrili filtre, uveli detekciju golotinje te postrožili pravila korištenja. Naravno, i oni imaju propusta, ali barem deklarativno sigurnost pomiču prema zadanoj opciji.
xAI je, naprotiv, često pozicionirao Grok kao "necenzurirani" alternativni chatbot i generator slika. Takav pristup jest atraktivan dijelu korisnika koji žele granice pomaknuti što dalje, ali je jednako tako atraktivan predatora i kriminalcima – i sve privlačniji regulatorima koji traže primjer za snažan kazneni i financijski udar.
Ako ova tužba rezultira i djelomičnom presudom protiv xAI‑a, val se neće zaustaviti na jednoj tvrtki: slijedit će nove parnice, pritisak osiguravatelja, a korporativni klijenti početi će se pitati koliko pravnog rizika preuzimaju koristeći "crne kutije" trećih strana.
Europski i regionalni kut: što znači za Hrvatsku i SEE
Za Hrvatsku i širu jugoistočnu Europu ova priča ima barem tri dimenzije.
1. EU regulatorni okvir. Ako je Grok dostupan korisnicima u EU, podliježe Općoj uredbi o zaštiti podataka (GDPR), Zakonu o digitalnim uslugama (DSA) i nadolazećem Aktu o umjetnoj inteligenciji EU (AI Act). DSA od vrlo velikih platformi – što X jest – traži da identificiraju i umanjuju sistemske rizike, uključujući širenje nezakonitog sadržaja poput CSAM‑a. Europska komisija već vodi postupke protiv X‑a; AI‑generirani CSAM dodatno bi otežao njihov položaj.
AI Act će pak omogućiti da se određeni sustavi proglase visokorizičnima zbog utjecaja na temeljna prava. Model sposoban reproducirati ili generirati dječju pornografiju iz stvarnih fotografija teško može izbjeći takvu klasifikaciju, što znači stroge zahtjeve za upravljanje rizicima, nadzor i transparentnost, pa i mogućnost ograničavanja pristupa na jedinstvenom tržištu EU.
2. Lokalni kontekst. Hrvatska već ima stroge kaznene odredbe vezane uz dječju pornografiju, a policija i USKOK intenzivno surađuju s Europolom. No institucije i dalje hvataju korak s tehničkom složenosti novih oblika zloporabe. Za hrvatske tvrtke koje razvijaju AI – od manjih timova u Zagrebu do razvojnih centara velikih ICT igrača – ovaj slučaj je upozorenje da će se standard odgovorne uporabe mjeriti po najstrožim, a ne najlabavijim jurisdikcijama.
3. Regionalno tržište. Startupi iz regije često ciljaju globalno tržište putem cloud‑a i API‑ja. Ako nude generativne modele slika ili alate za njihovo korištenje, morat će dokazati da imaju ozbiljne zaštitne mehanizme: filtriranje sadržaja, logiranje, brze kanale za prijavu zloporabe i jasne ugovorne zabrane za partnere.
Pogled unaprijed
Što je realno očekivati u sljedeće dvije do tri godine?
Na sudu u SAD‑u:
- Faza uvida u interne dokumente mogla bi pokazati je li xAI znao da se generira CSAM, koje su preporuke dali stručnjaci za sigurnost i je li vodstvo svjesno biralo blaže mjere kako bi zadržalo "nekontrolirani" proizvod.
- Sud će morati povući crtu između "tehnički nemoguće" i "skupo, ali izvedivo". Postoje već detektori golotinje, sustavi za prepoznavanje hash‑eva poznatog CSAM‑a i klasifikacija dobi na slikama. Nisu savršeni, ali zanemariti ih je teško opravdati.
U regulaciji:
- EU će vjerojatno kroz DSA i AI Act precizirati što očekuje od generativnih modela kad je riječ o zaštiti djece – uključujući obvezu suradnje s policijom i nevladinim organizacijama.
- Mogle bi nastati industrijske smjernice i certifikacijski programi za "sigurne" modele, koje će tražiti banke, telekomi i javni sektor prije integracije takvih rješenja.
Na tržištu:
- Poduzeća u Hrvatskoj i regiji koja koriste AI usluge počet će pažljivije birati partnere. Pitanje "imate li filtre za maloljetničku golotinju i kako su implementirani?" postat će jednako važno kao cijena i performanse.
- Povećat će se potražnja za stručnjacima za AI sigurnost i pravnicima koji razumiju i tehnologiju i regulativu – što otvara novu nišu za lokalne tvrtke i konzultante.
Istodobno postoji i negativan scenarij: ako veliki pružatelji pod pritiskom regulacije maksimalno ograniče seksualne sadržaje, dio korisnika prebacit će se na male, neregulirane modele izvan dosega EU prava. To neće ukloniti problem – samo će ga gurnuti u još netransparentniji dio interneta.
Zaključak
Tužba zbog CSAM‑a protiv xAI‑a i Groka više je od još jedne epizode u nizu Musk‑ovih kontroverzi. To je mogući presedan koji će definirati koliko su pružatelji generativne AI odgovorni kada njihovi modeli postanu alat za teška kaznena djela. Poruka industriji je jasna: era "lansiraj pa ćeš kasnije razmišljati o posljedicama" završava onog trena kad žrtve nisu apstraktni "podaci", nego stvarna djeca.
Za hrvatske i regionalne tvrtke to je prilika i opomena: tko danas ugradi sigurnost i usklađenost s EU pravilima u samu jezgru proizvoda, sutra će imati konkurentsku prednost. Pitanje za sve nas je hoćemo li to zahtijevati sada – ili tek nakon sljedećeg skandala.
