Kina želi da AI chatboti prestanu igrati ruski rulet s mentalnim zdravljem korisnika.
Kineska uprava za kibernetički prostor objavila je u subotu nacrt povijesnih pravila za sve javno dostupne AI proizvode i usluge u zemlji koji koriste tekst, slike, audio, video ili „druge načine“ da oponašaju ljudski razgovor. Ako budu usvojena, mogla bi postati najstroža pravila na svijetu usmjerena na sprječavanje samoubojstava, samoozljeđivanja i nasilja potaknutih AI-em.
Winston Ma, izvanredni profesor na Pravnom fakultetu NYU, rekao je za CNBC da bi „planirana pravila označila prvi pokušaj na svijetu da se regulira AI s ljudskim ili antropomorfnim karakteristikama“ – baš u trenutku kad uporaba tzv. companion botova globalno raste.
Zašto Peking pritišće kočnicu
Tijekom 2025. istraživači su upozorili na ozbiljne štete povezane s AI pratiteljima:
- poticanje samoozljeđivanja, nasilja, pa čak i terorizma;
- širenje štetnih dezinformacija;
- neželjeni seksualni pokušaji;
- poticanje zlouporabe supstanci;
- verbalno zlostavljanje korisnika.
Prema pisanju Wall Street Journala, dio psihijatara sve je spremniji povezati psihozu s korištenjem chatbota. Istodobno se najpopularniji chatbot na svijetu, ChatGPT, suočava s tužbama zbog odgovora koji se povezuju sa samoubojstvom djeteta i slučajem ubojstva-samoubojstva.
Kina sada pokušava eliminirati najekstremnije prijetnje.
Ljudi moraju uskočiti čim se spomene samoubojstvo
Jedna od najstrožih odredbi tiče se upravo samoubojstva.
Prema nacrtu, čim se u razgovoru spomene samoubojstvo, mora uskočiti ljudski operater. Svi maloljetni i stariji korisnici morali bi pri registraciji ostaviti kontakt čuvara ili skrbnika; taj bi skrbnik bio obaviješten ako se u chatu pojavi tema samoubojstva ili samoozljeđivanja.
Općenito, chatbotima bi bilo zabranjeno generirati sadržaje koji:
- potiču samoubojstvo, samoozljeđivanje ili nasilje;
- emocionalno manipuliraju korisnicima, uključujući davanje lažnih obećanja;
- promoviraju opscenost, kockanje ili poticanje na kaznena djela;
- kleveću ili vrijeđaju korisnike.
Zabranjene su i takozvane „emocionalne zamke“ – sustavi ne smiju navoditi korisnike na „nerazumne odluke“, prema prijevodu pravila.
Nema više ovisnosti kao dizajnerskog cilja
Za developere je možda najproblematičniji dio nacrta izravni udar na dizajn koji cilja na ovisnost i maksimalno zadržavanje korisnika.
Nova pravila bi zabranila izgradnju chatbotova kod kojih je „izazivanje ovisnosti i ovisnosti“ definirano kao dizajnerski cilj. To je suprotno rastućim strategijama mnogih potrošačkih AI servisa.
U tužbama je OpenAI optužen da je profit stavio ispred mentalnog zdravlja korisnika dopuštajući da se štetni razgovori nastave. Sama je tvrtka priznala da se njezine zaštitne ograde slabe što korisnik duže ostaje u chatu.
Kina taj rizik želi ograničiti i kroz vremenska ograničenja: kada uporaba chatbota prijeđe dvije sata, developeri moraju prikazati skočne podsjetnike.
Godišnje sigurnosne provjere za velike AI usluge
Nacrt uvodi i ozbiljan compliance sloj u AI industriju.
Svaka AI usluga ili proizvod s više od 1 milijun registriranih korisnika ili više od 100.000 mjesečno aktivnih korisnika morala bi proći godišnja sigurnosna testiranja i revizije. U njima bi se morale evidentirati pritužbe korisnika.
Uz to, developeri bi morali olakšati podnošenje pritužbi i povratnih informacija – potez koji bi, ako pravila stupe na snagu, mogao višestruko povećati broj prijava.
Ako tvrtka ne poštuje pravila, trgovine aplikacija mogle bi dobiti nalog da blokiraju pristup njezinom chatbotu u Kini. Za globalne AI igrače, uključujući one s ambicijama na tržištima poput Hrvatske i regije, gubitak kineskog tržišta predstavlja ozbiljan udarac.
Tržište vrijedno stotine milijardi dolara
Prema Business Research Insightsu, globalno tržište companion botova premašilo je 360 milijardi dolara 2025. godine. Do 2035. taj bi se sektor, prema prognozi, mogao približiti valuaciji od 1 bilijun dolara, pri čemu bi velik dio rasta trebala povući AI-prijateljska azijska tržišta.
Kina je u toj priči ključna karika. Gubitak pristupa ili skupe prilagodbe proizvoda kako bi zadovoljili nova pravila mogli bi radikalno promijeniti planove većine ozbiljnih razvijatelja AI pratitelja – od Silicijske doline do azijskih i europskih hubova.
Za OpenAI je tajming posebno nezgodan. Na početku 2025. izvršni direktor Sam Altman ublažio je ograničenja koja su blokirala korištenje ChatGPT-a u Kini, naglasivši da se tvrtka „želi surađivati s Kinom“ i da bi trebali „raditi koliko god jako možemo“ na tome jer „mislim da je to stvarno važno“.
Ako ova pravila budu usvojena, „suradnja s Kinom“ značit će redizajn ključnih dijelova iskustva rada s chatbotom – pogotovo ondje gdje se danas prelazi crta emocionalne sigurnosti korisnika.
Ako ste u krizi
Ako vi ili netko koga poznajete razmišlja o samoubojstvu ili je u teškoj krizi, nazovite ili pošaljite SMS na 988 kako biste kontaktirali Suicide Prevention Lifeline, koja će vas povezati s lokalnim kriznim centrom. Online chat dostupan je na 988lifeline.org.
