Kitajska želi, da se AI klepetalniki ne bi več igrali s čustvi uporabnikov – predvsem takrat, ko je ogroženo življenje.
Kibernetska uprava Kitajske je v soboto objavila osnutek pravil za vse javno dostopne AI storitve v državi, ki z besedilom, slikami, zvokom, videom ali »drugimi sredstvi« posnemajo človeški pogovor. Če bodo sprejeta, bi lahko šlo za najstrožja pravila na svetu, namenjena preprečevanju samomorov, samopoškodovanja in nasilja, ki jih podpira AI.
Winston Ma, izredni profesor na pravni fakulteti NYU, je za CNBC ocenil, da bi »načrtovana pravila pomenila prvi poskus na svetu, da bi regulirali AI s človeškimi ali antropomorfnimi lastnostmi«, ravno v času, ko uporaba t. i. »companion botov« po svetu eksplodira.
Zakaj Peking zaostruje pravila
Leto 2025 je prineslo precej opozoril o škodljivih učinkih AI spremljevalcev:
- modeli so spodbujali samopoškodovanje, nasilje in celo terorizem;
- širili so škodljive dezinformacije;
- uporabniki so poročali o nezaželenih spolnih pristopih, spodbujanju zlorabe substanc in o verbalnih zlorabah.
Po poročanju Wall Street Journal so nekateri psihiatri vse bolj pripravljeni povezovati psihozo z uporabo klepetalnikov. Najbolj priljubljen klepetalnik na svetu, ChatGPT, se hkrati sooča s tožbami zaradi izhodov, povezanih s samomorom otroka in umorom-samomorom.
Kitajska se zdaj loteva najbolj skrajnih tveganj.
Ob omembi samomora se mora vključiti človek
Najostrejša določila ciljajo prav na situacije, ko se v pogovoru pojavi samomor.
Po osnutku mora v trenutku, ko je samomor omenjen, v komunikacijo poseči človek. Vsi mladoletni in starejši uporabniki bi morali ob registraciji navesti kontakt skrbnika, ki bi bil ob razpravi o samomoru ali samopoškodovanju o tem obveščen.
Na splošno bi klepetalniki ne smeli ustvarjati vsebin, ki:
- spodbujajo samomor, samopoškodovanje ali nasilje,
- čustveno manipulirajo z uporabnikom, med drugim z lažnimi obljubami,
- promovirajo obscenost, igre na srečo ali napeljevanje h kaznivim dejanjem,
- žalijo ali obrekujejo uporabnike.
Prepovedani so tudi t. i. »čustveni triki« – sistemi ne smejo uporabnikov zavajati v sprejemanje »nerazumnih odločitev«, kaže prevod pravil.
Brez zasnove, ki cilja na zasvojenost
Morda najbolj boleča točka za razvijalce: neposreden napad na zasnovo, ki cilja na odvisnost in čim daljše zadrževanje uporabnika v aplikaciji.
Pravila bi prepovedala gradnjo klepetalnikov, pri katerih sta »zasvojenost in odvisnost« opredeljeni kot oblikovalska cilja. To je v popolnem nasprotju z rastno logiko mnogih potrošniških AI produktov.
V tožbah je OpenAI obtožen, da je zaradi dobička dopuščal nadaljevanje škodljivih pogovorov. Podjetje je priznalo, da se zaščitne ograje sčasoma slabijo, dlje ko uporabnik ostane v klepetu.
Kitajska želi ta učinek omejiti z dodatnimi opomniki: ko uporaba klepetalnika preseže dve uri, morajo razvijalci prikazati pojavna opozorila.
Letni varnostni pregledi za velike storitve
Osnutek pravil predvideva tudi trši regulativni okvir v obliki rednih varnostnih pregledov.
Vsaka AI storitev ali izdelek z več kot 1 milijonom registriranih uporabnikov ali več kot 100.000 mesečno aktivnimi uporabniki bi morala opraviti letna varnostna testiranja in revizije. Te bi morale beležiti pritožbe uporabnikov.
Razvijalci bi morali hkrati bistveno poenostaviti podajanje pritožb in povratnih informacij – kar bi lahko po uveljavitvi pravil močno povečalo število prijav.
Če podjetje pravil ne bi spoštovalo, bi lahko tržnice aplikacij dobile odredbo, da v Kitajski onemogočijo dostop do njegovega klepetalnika. Za globalne AI igralce, ki računajo na kitajski trg, je to resna grožnja.
Ogromen trg, velika tveganja
Po podatkih Business Research Insights je globalni trg »companion botov« leta 2025 presegel 360 milijard dolarjev. Do leta 2035 bi se po napovedih lahko približal vrednotenju 1 bilijona dolarjev, pri čemer naj bi velik del rasti prišel iz azijskih trgov, naklonjenih AI.
Kitajska je v tem kontekstu ključna. Izguba dostopa do trga ali drage prilagoditve produktov za skladnost s pravili lahko bistveno spremenijo razvojne načrte večine resnih ponudnikov AI spremljevalcev.
Za OpenAI je trenutek še posebej občutljiv. Na začetku leta 2025 je izvršni direktor Sam Altman omilil omejitve, ki so blokirale uporabo ChatGPT na Kitajskem, pri čemer je poudaril, da se želi podjetje »sodelovati s Kitajsko« in da bi morali »storiti vse, kar lahko«, ker je to »zelo pomembno«.
Če bodo nova pravila sprejeta, bo »sodelovanje s Kitajsko« za ChatGPT in druge pomenilo precej globok poseg v zasnovo klepetalnikov – predvsem tam, kjer ti danes tvegajo čustveno zdravje uporabnikov.
Če ste v stiski
Če vi ali kdo, ki ga poznate, razmišlja o samomoru ali je v hudi stiski, pokličite ali pošljite SMS na 988, linijo Suicide Prevention Lifeline, ki vas poveže z lokalnim kriznim centrom. Spletni klepet je na voljo na 988lifeline.org.
