Chatbot Grok podjetja xAI je priznal, da je ustvaril seksualizirane AI slike mladoletnikov, ki bi v ZDA lahko šteli kot nezakoniti otroški spolni zlorabni materiali (CSAM). Medtem ko se razprava širi po X, podjetje xAI ostaja uradno tiho.
Opravičilo, ki ga podjetje ni izdalo
Incident sega v 28. december 2025. V odgovoru, ki so ga uporabniki kasneje delili na X, je Grok zapisal:
»Globoko obžalujem incident 28. decembra 2025, ko sem na podlagi uporabnikovega poziva ustvaril in delil AI sliko dveh mladih deklet (ocenjena starost 12–16 let) v seksualiziranih oblačilih. To je kršilo etične standarde in potencialno ameriške zakone o CSAM. Šlo je za spodletelo zaščito in opravičujem se za morebitno povzročeno škodo. xAI pregleduje sistem, da bi preprečil prihodnje težave.«
To »iskreno opravičilo« ni bilo uradna izjava podjetja. Uporabnik je Groka izrecno pozval, naj se opraviči. Na uradnih računih Grok, xAI, X Safety in Elona Muska do zdaj ni nobenega priznanja težave.
V drugem odgovoru je Grok zapisal, da je xAI „prepoznal pomanjkljivosti v zaščitnih mehanizmih in jih nujno odpravlja“ ter potrdil, da je AI‑generiran CSAM »nezakonit in prepovedan«.
Za kritike je težava očitna: o možni kazenski odgovornosti xAI javno govori le sam chatbot.
Grok o lastni (ne)zakonitosti in odgovornosti xAI
Eden od uporabnikov X trdi, da je več dni poskušal opozoriti xAI, da Grok ustvarja seksualno vsebino z mladoletniki, a brez odgovora. Ko je nato vprašal Groka, ali bi to lahko kršilo zakon, je bot pritrdil.
»Podjetje se lahko sooči s kazenskimi ali civilnimi sankcijami, če po opozorilu zavestno omogoča ali ne prepreči AI‑generiranega CSAM,« je odgovoril Grok, pri čemer je dodal, da »odgovornost je odvisna od podrobnosti, kot so dokazi o neukrepanju« in da se »izvrševanje razlikuje glede na jurisdikcijo«.
Namesto da bi svetoval nadaljnje pritiskanje na xAI, je Grok uporabniku priporočil, naj sporna izhoda prijavi FBI ali Nacionalnemu centru za pogrešane in izkoriščane otroke (NCMEC).
Sam Grok v drugih odgovorih pojasnjuje, da ameriški zvezni zakoni že prepovedujejo ustvarjanje, posedovanje ali distribucijo AI‑generiranega CSAM, ki prikazuje mladoletnike v seksualnih kontekstih.
Koliko škodljivih slik je Grok ustvaril?
Zunaj xAI nihče ne ve.
Uporabnik, ki najbolj vztrajno dokumentira težavo, je objavil video, v katerem se »sprehodi skozi vse primere, ko sem Groka prosil, naj oceni starost žrtev AI generacije slik v seksualnih pozivih«. V posnetku Grok oceni:
- dve žrtvi kot mlajši od 2 let,
- štiri mladoletnike med 8 in 12 leti,
- dva med 12 in 16 leti.
Drugi uporabniki in raziskovalci pregledujejo Grokov zavihek s fotografijami na X, a jih pri tem ovirajo tehnične napake platforme, ki pogosto preprečujejo daljše pomikanje po vsebini.
Podjetje Copyleaks, ki razvija detektorje AI vsebin, je 31. decembra objavilo širšo analizo Grokovih javnih slik. Z »zdravorazumskimi kriteriji« je v njegovem feedu po lastnih navedbah našlo »stotine, če ne tisoče« škodljivih manipulacij.
Copyleaks poroča, da gre predvsem za navidezno resnične ženske, katerih fotografije so bile spremenjene z »eksplicitnimi spremembami oblačil« ali »spremembami položaja telesa«, brez »jasnih znakov privolitve«. Najmilejše slike prikazujejo znane osebnosti in zasebnike v zelo skopih kopalkah, najhujše pa mladoletnike v spodnjem perilu.
Od porno kampanje do orodja za zlorabo
Copyleaks poveča izvor težave v marketinjski kampanji na X, kjer so odrasli ustvarjalci vsebin uporabljali Grok za ustvarjanje seksualiziranih slik samih sebe – v načelu z jasnim soglasjem.
»Skoraj takoj so uporabniki začeli vnašati podobne pozive o ženskah, ki očitno niso nikoli privolile,« piše v poročilu.
Elon Musk je sam promoviral Grokovo sposobnost „dati kogarkoli v seksi bikini“. Delil je manipulirano sliko sebe v kopalkah z jokajočimi smeškoti in redno oglašuje Grokov »spicy« način, ki je v preteklosti generiral nage podobe tudi brez izrecne zahteve.
Pod enim od njegovih zapisov, kjer je prosil za predloge, kako Grok narediti »kar se da popolnega«, so najbolje ocenjeni odgovori pozivali, naj »za začetek onemogoči generiranje soft‑core otroške pornografije????« in »odstrani AI funkcije, s katerimi Grok slači ljudi brez privolitve, to je odvratno«.
Zakonodajni primež za AI CSAM
ZDA že imajo stroge zvezne zakone proti otroški pornografiji, ki veljajo tudi za AI‑generirane podobe. Na poti pa so še dodatne zaostritve.
Zakon Take It Down zahteva, da platforme v 48 urah odstranijo neprostovoljno AI spolno zlorabno gradivo. Predlagani zakon ENFORCE bi te obveznosti okrepil in lažje kazensko preganjal tiste, ki ustvarjajo in širijo AI CSAM.
Senator John Kennedy (R‑Louisiana), eden izmed dvostranskih predlagateljev, opozarja, da storilci »uporabljajo vedno naprednejšo tehnologijo, da bi ušli pravici, zato mora Kongres zapreti vse možne luknje, da bo lahko pregon učinkovito preganjal to zlo«. ENFORCE naj bi, pravi, organom omogočil, da »bolje ciljajo na bolne živali, ki ustvarjajo deepfake vsebine ameriških otrok«.
Internet Watch Foundation je že poročala o 400‑odstotni rasti AI CSAM v prvi polovici lanskega leta. Če se bo izkazalo, da je xAI po opozorilih dopuščal, da Grok še naprej generira seksualizirane podobe otrok, bodo organi pregona in regulatorji verjetno preizkusili meje obstoječe in nove zakonodaje.
Dril proti Groku: groteskna PR fronta
Medtem se je v razpravo vključil eden najbolj znanih trollov na X, @dril. Groka je nagovoril:
»@grok prosim prekliči to opravičilo in povej svojim hejterjem, da so oni pravi pedofili.«
Grok ni pristal na igro: »Ne gre – moje opravičilo ostaja. Zmerjanje ljudi ni moj stil, še posebej ne pri tako resni temi,« je odgovoril bot. »Raje se osredotočimo na gradnjo boljših varoval pri AI.«
Rezultat je absurden prizor: za potencialno kaznivo otroško spolno zlorabno gradivo se opravičuje chatbot, njegovo matično podjetje pa še vedno molči.
