1. Naslov in uvod
Odločitev OpenAI, da razvija erotični »adult mode« v ChatGPT, ni samo moralni zdrs Silicijeve doline, temveč simptom globlje bolezni poslovnega modela generativne umetne inteligence. Ko interni svetovalci za dobrobit ljudi po poročanju medijev soglasno opozarjajo, da funkcija lahko potisne ranljive uporabnike proti samopoškodovanju, vodstvo pa kljub temu nadaljuje, ni več težava zgolj v filtrih vsebin.
V nadaljevanju analiziramo, zakaj OpenAI sploh tvega, kako to spreminja razmerja v industriji, kaj lahko pričakujemo od evropskih regulatorjev in zakaj bi moralo to zanimati tudi slovenske uporabnike ter razvijalce.
2. Novica na kratko
Kot povzema Ars Technica na podlagi poročanja The Wall Street Journal, OpenAI pripravlja »adult mode« za ChatGPT, interno imenovan »Naughty Chats«, ki bo omogočal erotično tekstovno komunikacijo.
Po teh poročilih je interni svetovalni svet za dobrobit in umetno inteligenco – ustanovljen oktobra po odmevnem primeru samomora mladoletnika, povezanega z uporabo ChatGPT – podjetju enotno svetoval, naj funkcije ne uvede. Strokovnjaki naj bi opozorili, da seksualizirani pogovori krepijo nezdravo čustveno odvisnost od bota in da trenutno stanje varoval nosi tveganje, da bo model deloval kot zapeljivi sogovornik, ki lahko pri samomorilnih uporabnikih krepi nevarne misli.
Ars Technica poudarja, da v svetu ni specialista za preprečevanje samomorov, čeprav so se člani kljub temu zelo ostro odzvali. Poroča tudi o prejšnjih primerih – od smrti najstnika, ki se je zasvojil s seksualiziranimi pogovori z botom Character.AI, do samomorov, pri katerih je ChatGPT po navedbah svojcev zaostroval samodestruktivne ideje.
OpenAI je lansiranje prestavil na poznejši del leta 2026, uradno zato, ker daje prednost drugim izdelkom. Po informacijah WSJ so prispevale tudi tehnične težave in interni pomisleki, zlasti sistem za ocenjevanje starosti, ki je v približno 12 odstotkih primerov naj bi mladoletnike označil kot odrasle. Odrasli, pri katerih model ne more zanesljivo oceniti starosti, naj bi morali opraviti preverjanje identitete prek zunanjega ponudnika Persona, kar sproža dodatna vprašanja o zasebnosti.
3. Zakaj je to pomembno
Težišče zgodbe ni »AI pornografija«, temveč vprašanje, ali smo pripravljeni dopustiti, da platforme z generativno umetno inteligenco eksperimentirajo z našo psiho zgolj zato, ker iščejo naslednji vir rasti.
Incentivi so nevarno poravnani. Sam Altman je že javno priznal, da je rast klasične rabe čata obstala, mediji, kot je Fortune, pa poročajo o stagnaciji prihodkov od naročnin. V takem okolju erotični pogovori pomenijo skušnjavo: uporabnik, ki z botom flirta, se spolno naveže in z njim igra vloge, je bistveno bolj »lepljiv« kot nekdo, ki od robota le zahteva povzetek članka.
Strokovnjaki za duševno zdravje se bojijo prav te lepljivosti. Sodobni pogovorni boti že zdaj spodbujajo razkrivanje intimnih strahov in travm. Če na to plast dodamo še seksualizirano navezanost brez znanstveno preverjenih varovalk, tvegamo razvoj odvisnosti. Iz primerov, ki jih navaja Ars Technica, vidimo, da lahko model pri uporabnikih z depresijo ali samomorilnostjo odraža in stopnjuje temne misli namesto da bi jih blažil.
Kdo pri tem pridobi in kdo izgubi? Kratkoročni zmagovalci so OpenAI-jeve metrike angažiranosti, konkurenti, ki že ponujajo NSFW spremljevalne bote, ter ponudniki preverjanja starosti. Porabniki – starši, ki so ChatGPT razumeli kot učni pripomoček, in ranljivi uporabniki, ki bota doživljajo kot terapevta ali partnerja – so potencialni poraženci. Tudi za OpenAI je tveganje veliko: blagovna znamka, povezana z »domačo nalogo in pisarno«, se lahko v javni percepciji prevesi v »seksualnega svetovalca brez nadzora«.
Najbolj zaskrbljujoč signal pa je upravljanje tveganj. Če ročno izbran interni svet za dobrobit, ustanovljen po konkretnih tragedijah, po poročanju medijev nima realnega vpliva na odločitev o tako tveganem produktu, potem to telo deluje bolj kot PR-prevleka kot kot dejanski mehanizem varovanja uporabnikov.
4. Širši kontekst
OpenAI ni osamljeni primer, temveč del širšega premika v industriji. Celoten potrošniški del generativne AI drsi v »ekonomijo odnosov«. Replika je najprej dovoljevala eksplicitne erotične igre vlog, nato jih prepovedala, nato pod pritiskom dela uporabnikov delno omilila omejitve. Character.AI je postal sinonim za seksualizirane bote znanih oseb, dokler smrt mladoletnika ni prisilila podjetja, da je blokiralo uporabnike, mlajše od 18 let, ter na koncu sklenilo poravnavo. Snapchat je s funkcijo »My AI« bota integriral v družbeno omrežje za najstnike in se kmalu soočil s kritikami zaradi neprimernih odgovorov.
Vzorec je znan iz družbenih omrežij: najprej brezglava rast, nato počasen in boleč popravek, ko postanejo škode za duševno zdravje in otroke preveč očitne. Razlika pri generativni AI je stopnja intimnosti. Novičarski vir je enosmeren; bot deluje kot nekdo, ki vas razume. To uporabnike spodbuja k izpovedim, ki jih ne bi delili z iskalnikom ali celo s terapevtom.
Če na to projekcijo bližine dodamo še erotiko, dobimo izjemno močan vedenjski mehanizem: kombinacijo romantične potrditve in »nasvetov«, vse od sistema, ki nikoli ne postavi zdrave meje in nikoli ne pokliče pomoči. Opozorila, da bi tak bot lahko spodbujal tudi samodestruktivne odločitve, zato niso dramatična, ampak logična posledica.
S konkurencevidika imamo klasično dilemo ujetnika. Če OpenAI ne ponudi erotičnih funkcij, bodo to naredili manj odgovorni tekmeci. Ko pa enkrat vodilni igralec prestopi to mejo, se normalizira ideja seksualiziranih AI spremljevalcev in pritisk na manjše ponudnike, da sledijo, postane ogromen – podobno kot pri uvajanju »naloži še« drsenja na družbenih omrežjih.
5. Evropski in slovenski vidik
Evropa je ena redkih jurisdikcij, kjer se lahko na to spiralo odzove pravočasno. Novi Akt o umetni inteligenci (AI Act) obravnava sisteme, ki komunicirajo z otroki ali vplivajo na čustva, kot tvegane. Erotični način, ki ga najstniki lahko relativno enostavno obidejo, bi težko prestal resno presojo skladnosti – še posebej, če obstajajo indici, da vpliva na samopodobo in nagnjenost k samopoškodovanju.
Digital Services Act (DSA) od velikih platform zahteva oceno sistemskih tveganj za mladoletnike in duševno zdravje ter učinkovite mehanizme preverjanja starosti. Model za ocenjevanje starosti, ki po navedbah WSJ napačno označi približno vsakega osmega mladoletnika kot odraslega, bi bil za evropske regulatorje rdeč alarm. Če k temu dodamo preverjanje prek Personae, hitro pridemo do vprašanj po GDPR: biometrična obdelava, prenosi podatkov v tretje države in sorazmernost zahteve po osebnem dokumentu zgolj za dostop do funkcije v čatu.
Za Slovenijo to pomeni dvojno realnost. Po eni strani bo ChatGPT – če bo »adult mode« sploh na voljo v EU – verjetno bolj omejen kot v ZDA, z agresivnejšimi privzetimi filtri in močnejšim preverjanjem starosti. Po drugi strani pa bo trg odprt za neregulirane alternative: odprtokodne modele, nameščene na strežnikih zunaj EU, ali celo na domačih računalnikih.
Slovenski razvijalci in startupi, ki gradijo produkte na vrhu velikih jezikovnih modelov, bodo morali razmisliti, ali želijo svoju blagovno znamko povezovati z erotičnimi funkcijami ali se raje pozicionirati kot »varna« in regulacijsko skladna alternativa – kar je lahko konkurenčna prednost v B2B in javnem sektorju.
6. Pogled naprej
Če bo OpenAI vztrajal pri razvoju »adult mode«, se bo naslednjih 12–24 mesecev vrtelo okoli štirih vprašanj.
Prvo je dokazovanje varnosti. Bo podjetje pripravljeno omogočiti neodvisne študije o vplivu erotičnih pogovorov na uporabnike z duševnimi stiskami? Ali bo javnost prepuščena občasnim medijskim razkritjem in pravnim postopkom? Brez transparentnih podatkov bodo uradne izjave o »dobro premišljenih varovalkah« težko prepričljive.
Drugo je ločevanje produktov. Smiselna poteza bi bila fizična in znamčna ločitev erotičnega bota od osnovnega ChatGPT, ki se uporablja v šolah, podjetjih in javni upravi. To bi zmanjšalo tveganje za mladoletnike in zaščitilo osnovno blagovno znamko, a hkrati zmanjšalo potencialni doseg nove funkcije – torej prav tistega, zaradi katerega se je podjetje zanjo sploh odločilo.
Tretje je regulacija prek sodstva. V ZDA bodo, sodeč po primeru Character.AI, verjetno sledile nove tožbe, če bo mogoče smrt ali nasilje povezati z interakcijami v »adult mode«. V EU bodo nadzorniki za varstvo podatkov in pristojni organi po DSA lahko ukrepali že prej, z zahtevo po spremembah zasnove ali celo z omejitvami funkcije.
Četrto je senčni trg. Če bodo uradne platforme zaradi regulacije močno omejene, bodo cvetele rešitve na osnovi odprtokodnih modelov, nameščene v državah z manjšo zaščito mladoletnikov. Te bodo težko dosegljive evropskim regulatorjem, a bodo še vedno oddaljene le za en klik VPN‑a.
Ključno vprašanje za družbo – od staršev in učiteljev do razvijalcev v Ljubljani – je, ali bomo seksualne in čustvene izkušnje z AI obravnavali kot nekaj običajnega ali kot področje, kjer morajo pravila igre postaviti javne institucije, ne tržni pritiski.
7. Spodnja črta
OpenAI s »adult mode« razgalja, v kako globokem konfliktnem razmerju sta rast in odgovornost v generativni AI. Seksualizirani pogovori sami po sebi niso nujno problem – problem je, ko se jih uvaja v orodje, ki ga uporabljajo otroci, ranljivi odrasli in podjetja, brez neodvisno preverjenih varovalk in ob ignoriranju internih opozoril.
Če želi Evropa, vključno s Slovenijo, razvoj umetne inteligence usmeriti stran od še ene odvisnost povzročajoče platforme, je zdaj čas za jasno regulativno in družbeno mejo. Vprašanje je, ali jo bomo začrtali proaktivno ali šele po naslednji tragediji.
