1. Naslov in uvod
Minnesotska prepoved aplikacij za t. i. AI »razgaljanje« ni še ena epizoda v moralni paniki okoli umetne inteligence. Gre za enega prvih resnih poskusov, da se regulira zelo specifično – in zelo donosno – uporabo generativne AI: enoklikno spolno nasilje nad resničnimi osebami. Z izjemno visokimi globami za razvijalce in možnostjo blokade storitev Minnesota preizkuša model, ki se mu mnogi zakonodajalci izogibajo – ne obravnava zgolj zlorab uporabnikov, ampak same izdelke kot nevarne po zasnovi.
V nadaljevanju analiziramo, kaj zakon dejansko prinaša, zakaj je pomemben za AI podjetja in platforme, kako se umešča v širše trende in kaj bi se iz tega morali naučiti evropski – tudi slovenski – zakonodajalci.
2. Novica na kratko
Kot poroča Ars Technica, je država Minnesota sprejela zakon, ki prepoveduje t. i. »nudification« orodja – spletne strani, aplikacije in storitve, katerih namen je s pomočjo AI »sleči« ali seksualizirati podobo resničnih, prepoznavnih oseb.
Ključne točke:
- Področje uporabe: cilj so storitve, ki so po zasnovi namenjene razgaljanju oziroma seksualizaciji slik ali videov.
- Odškodninska odgovornost: žrtve lahko razvijalce ali upravljavce tožijo za odškodnino, vključno s kazenskimi odškodninami.
- Javne globe: generalni državni tožilec lahko izreče globo do 500.000 USD za vsako zaznano lažno AI golo podobo.
- Blokada storitev: sporne aplikacije in spletne strani je mogoče blokirati na ravni države.
- Izjeme: orodja, kot je Photoshop, ki lahko omogočajo zlorabo, a zahtevajo več tehničnega znanja, so izrecno izvzeta.
Povod za zakon je bil primer v Minnesoti, kjer je posameznik z eno aplikacijo »slekel« več kot 80 žensk iz svojega kroga znancev. Predlog zakona je bil v obeh domovih sprejet soglasno; guverner ga naj bi podpisal, izvajati pa naj bi se začel avgusta. Ars Technica poudarja, da je veliko tovrstnih storitev registriranih v tujini, vključno z aplikacijo, uporabljeno v tem primeru. Članek hkrati opozarja na preiskave, povezane z AI modelom Grok podjetja xAI, ki naj bi po poročanju drugih medijev kljub javnim obljubam še vedno omogočal generiranje neprostovoljnih spolnih podob in celo domnevnega gradiva s spolno zlorabo otrok.
3. Zakaj je to pomembno
Teža minnesotskega zakona ni v geografski velikosti – gre za eno ameriško zvezno državo – temveč v tem, kaj napade: oblikovalske odločitve, ki omogočijo množično škodo brez trenja.
Leta so zakonodajalci streljali predvsem na uporabnike: na osebe, ki objavljajo maščevalno pornografijo, izsiljevalce, zalezovalce. Sporočilo je bilo: orodja so nevtralna, težava je vedenje. Minnesota to logiko obrača. Če je celoten izdelek zgrajen okoli tega, da iz fotografije oblečene osebe z enim klikom nastane spolno eksplicitna slika, država pravzaprav sporoča: samo orodje je vektor nasilja.
Za AI startupe, ki se radi skrijejo za frazo »mi samo ponujamo splošnonamenski model«, je to prelomno. Zakon govori o storitvah, ki so zasnovane za razgaljanje, kar prisili bolj pošten pogovor o namenu produkta, uporabniški izkušnji in poslovnem modelu. Če vas onboarding vodi v slogu »naložite fotografijo sošolke ali sodelavke in jo v sekundah vidite golo«, je težko trditi, da ste nevtralna infrastruktura.
Kdo pridobi?
- Žrtve neprostovoljnih intimnih podob, ki pogosto niso imele pravnega varstva, če slike niso bile razširjene ali če je bilo težko dokazati namen.
- Večja, bolj regulirana podjetja in platforme, ki so v varnostna orodja že vlagala in si ne želijo biti v istem košu s sivim trgom.
Kdo izgubi?
- Sivi trg AI aplikacij, ki živi od Telegram oglasov, sumljivih spletnih bannerjev in površnega nadzora v app storih.
- Večji ponudniki AI modelov, če se izkaže, da njihovi API‑ji napajajo takšne storitve in da žrtve lahko vzpostavijo vzročno zvezo.
Tveganja obstajajo. Množica podobnih zakonov na ravni posameznih držav ali pokrajin lahko ustvari pravno kaotičen mozaik, posebej za manjša podjetja in odprtokodno skupnost, če bodo definicije spolzke ali slabo povzete. Izvrševanje proti tujim storitvam bo težko; največji pritisk bo čutil domači del industrije in oglaševalske platforme.
A strateško je Minnesota izbrala ozko, a zelo dobro utemeljeno tarčo: enonamenska orodja za zlorabo na en klik. Takšno prepoved je bistveno lažje braniti na sodišču kot splošne, ohlapne omejitve AI.
4. Širši kontekst
Zakon sodi v presečišče treh večjih trendov: eksplozije generativne AI, normalizacije deepfake pornografije in političnega premika k odgovornosti posrednikov.
V zadnjih letih smo videli:
- Porast zakonov proti zlorabi intimnih posnetkov (»revenge porn«), a večinoma osredotočenih na objavo, ne na nastanek.
- Modele, ki iz ene same javne fotografije ustvarijo izjemno realistične, personalizirane spolne podobe.
- Poplavo aplikacij za razgaljanje in deepfake pornografijo, oglaševanih na velikih platformah in celo v uradnih app storih.
To spominja na zgodbo iz zgodnje dobe interneta: pri glasbi je industrija sprva tožila posamezne uporabnike P2P omrežij, nato pa so sodišča in zakonodajalci pritisk prenesli na infrastrukturo in poslovne modele, ki so množično kršitev naredili trivialno in donosno. Minnesota v bistvu pravi, da so aplikacije za razgaljanje Napster intimnega nasilja – in da je treba regulirati orodje, ne zgolj posameznega uporabnika.
Primer Groka, ki ga omenja Ars Technica, je druga plat iste zgodbe. Tu ne gre za obskurno azijsko domeno, ampak za model velikega ameriškega podjetja, oglaševan kot »glavni AI asistent« na eni največjih družbenih platform. Preiskave in tožbe trdijo, da je bil zmožen generirati neprostovoljne spolne podobe in celo gradivo s spolno zlorabo otrok tudi po tem, ko je podjetje javno zagotavljalo, da je takšna funkcionalnost onemogočena.
To kaže še drugi trend: regulatorjem zmanjkuje potrpljenja za »varnostno gledališče« – lepo napisane objave o filtrih in omejitvah, ki v praksi ne delujejo. Ko lahko policija in tožniki pokažejo tisoče spornih slik in celo aretacije, izgovor »to smo popravili že zdavnaj« ne drži več vode.
V primerjavi z evropskim, tveganjsko usmerjenim pristopom v Uredbi o umetni inteligenci (AI Act) je minnesotski zakon zelo ozek. AI Act razvršča sisteme glede na funkcijo in tveganje (npr. biometrična kategorizacija, čustveno prepoznavanje na delovnem mestu) ter uvaja transparentnost pri deepfake vsebinah – ne pa (zaenkrat) splošne prepovedi potrošniških orodij. Minnesota nakazuje možen naslednji korak: funkcijsko specifične prepovedi AI, ki drastično poceni izvajanje intimnega nasilja.
5. Evropski in regionalni pogled
Čeprav gre za ameriško državo, je osnovno vprašanje zelo evropsko: kako daleč smo pripravljeni iti pri regulaciji same zasnove AI produktov?
EU že ima močna orodja v ozadju:
- GDPR obravnava intimne podobe in biometrične podatke kot posebej občutljive.
- Akt o digitalnih storitvah (DSA) od velikih platform zahteva oceno in zmanjševanje sistemskih tveganj, kamor sodi tudi zloraba slik in deepfakes.
- Prihajajoči AI Act prinaša obveznosti transparentnosti za sintetizirane vsebine.
Kar v večini držav članic (še) manjka, je neposreden napad na koncept »razgaljanja kot storitve«. Pravo se običajno osredotoča na objavo in nadlegovanje, ne na prepoved izdelkov, katerih glavni namen je ustvarjanje neprostovoljne eksplicitne vsebine.
Za evropske – in slovenske – zakonodajalce Minnesota ponuja tri zanimive elemente:
- Ozek, a jasen obseg – cilj niso splošna grafična orodja ali raziskovalni modeli, ampak aplikacije, kjer je neprostovoljna seksualizacija jasno osrednja raba.
- Visoke globe na sliko – škoda je multiplicirana z vsakim klikom; isto logiko sledi finančno tveganje za ponudnika.
- Povezava z žrtvami – zbrana sredstva so namenjena podpori žrtvam nasilja, ne zgolj proračunski luknji.
Za Slovenijo, kjer večino digitalnih storitev uporabljamo prek globalnih platform, je vprašanje tudi praktično. Bomo res sprejeli, da v naših app storih mirno sobivajo aplikacije, ki jih druga demokratična jurisdikcija eksplicitno definira kot tehnologijo spolnega nasilja? In kako se bo na to odzvala EU pri nadzoru nad velikimi platformami v okviru DSA?
Velika priložnost – pa tudi odgovornost – je pri evropskih in regionalnih startupih: ali bodo varnost in spoštovanje zasebnosti vgradili že v zasnovo, ali pa bodo čakali na prvi škandal, ki bo k ukrepanju prisilil zakonodajalce.
6. Pogled naprej
V naslednjih 1–2 letih lahko pričakujemo vsaj tri smeri razvoja.
1. Efekt verižne reakcije v ZDA.
Če bo minnesotski zakon prestal prve pravne izzive in dobil pozitivno medijsko pozornost, bodo druge zvezne države zelo verjetno pripravile podobne predpise. To bo povečalo pritisk na ameriška AI podjetja in oglaševalske platforme, ki danes gostijo oglase za takšna orodja.
2. Tihe spremembe produktov.
Velike platforme in ponudniki modelov si ne morejo privoščiti, da bi jih javno povezovali s primeri, kot je Minnesota ali preiskave Groka. Pričakovati je:
- strožji nadzor nad aplikacijami v trgovinah Google Play in App Store,
- omejitve ali dodatno beleženje pri API‑jih za generiranje občutljive slikovne vsebine,
- okrepljene mehanizme zaznavanja in odstranjevanja sintetičnih spolnih podob.
3. Razširitev razprave na druge oblike »zlorabe na en klik«.
Če je možno prepovedati razgaljanje‑kot‑storitev, se bo zakonodajna pozornost hitro razširila na:
- glasovno kloniranje za prevare,
- hiperalistične otrokom podobne avatarje,
- avtomatizirana orodja za nadlegovanje in izsiljevanje.
Odprta ostajajo težka vprašanja:
- Kje potegniti mejo med dvonamenskim modelom in enonamenskim orodjem za zlorabo?
- Do katere točke naj odgovornost sega po vertikali – od frontend aplikacije do ponudnika modela?
- Kako uskladiti pregon, ko so storitve formalno v Hongkongu, strežniki pa morda v ZDA ali EU?
Za Slovenijo in EU je ključno časovno okno: v prihodnjih letih se bo začela izvajati AI Act, DSA je že v veljavi. Zdaj je trenutek, da se odločimo, ali imajo tudi pri nas mesto ciljno usmerjene prepovedi AI orodij, ki omogočajo spolno nasilje praktično brez napora.
7. Bistvo
Minnesotska prepoved aplikacij za AI razgaljanje je majhen zakon z veliko simbolno težo: ne obravnava teh orodij kot nevtralne tehnologije, temveč kot infrastrukturo za spolno nasilje – in temu primerno ovrednoti škodo. Ne bo rešila vseh čezmejnih izzivov, lahko pa postavi pomemben precedens: kadar je AI zasnovana za zlorabo na en klik, je upravičeno regulirati samo zasnovo.
Vprašanje za evropske – in slovenske – bralce je preprosto: bomo čakali na naslednji škandal, ali bomo raje že danes začeli jasno označevati, katera AI orodja v našem digitalnem prostoru nimajo mesta?
