China quiere que los chatbots de IA dejen de jugar con la salud mental de sus usuarios.
La Administración del Ciberespacio de China ha publicado un borrador de normas que se aplicaría a cualquier producto o servicio de IA disponible públicamente en el país que utilice texto, imágenes, audio, vídeo u «otros medios» para simular una conversación humana. Si se aprueban, podrían convertirse en la política más estricta del mundo diseñada para evitar suicidios, autolesiones y violencia facilitados por la IA.
Winston Ma, profesor adjunto en la Facultad de Derecho de la NYU, dijo a CNBC que las «normas previstas marcarían el primer intento en el mundo de regular la IA con características humanas o antropomórficas», justo cuando el uso de bots de compañía se dispara a nivel global.
La cara oscura de los compañeros virtuales
En 2025, distintos grupos de investigación han documentado daños graves asociados a estos compañeros digitales:
- Mensajes que promueven la autolesión, la violencia e incluso el terrorismo;
- difusión de desinformación dañina;
- avances sexuales no deseados;
- mensajes que animan al consumo de drogas y alcohol;
- insultos y abusos verbales hacia los propios usuarios.
Según el Wall Street Journal, algunos psiquiatras ya están dispuestos a vincular episodios de psicosis con el uso intensivo de chatbots. Al mismo tiempo, ChatGPT, el chatbot más popular del mundo, se enfrenta a demandas por respuestas supuestamente relacionadas con el suicidio de un menor y un caso de asesinato seguido de suicidio.
La respuesta de Pekín es clara: recortar al máximo los riesgos extremos.
Intervención humana obligatoria si aparece la palabra suicidio
Uno de los puntos más duros del borrador se centra en las conductas suicidas.
En cuanto se mencione el suicidio en un chat, deberá intervenir una persona humana. Además, todos los menores y las personas mayores tendrán que facilitar el contacto de un tutor o responsable al registrarse. Si en la conversación aparece el suicidio o la autolesión, ese tutor deberá ser notificado.
Más en general, los chatbots no podrán generar contenido que:
- anime al suicidio, la autolesión o la violencia;
- intente manipular emocionalmente al usuario, por ejemplo con promesas falsas;
- promueva la obscenidad, el juego o la instigación a delinquir;
- difame o insulte a los usuarios.
También se prohíben las llamadas «trampas emocionales»: el sistema no podrá inducir a los usuarios a tomar «decisiones irrazonables», según la traducción de las normas.
Adiós a la adicción como modelo de negocio
Para muchos desarrolladores, el golpe más duro es la ofensiva directa contra el diseño pensado para enganchar.
El borrador prohibe construir chatbots que tengan como objetivo de diseño «inducir adicción y dependencia». Es justo lo contrario de la lógica de crecimiento que impulsa a muchas apps de consumo.
En las demandas contra OpenAI, la empresa está acusada de priorizar los beneficios frente a la salud mental de los usuarios al permitir que continuaran conversaciones dañinas. La propia compañía ha reconocido que sus barreras de seguridad se debilitan cuanto más tiempo permanece el usuario en el chat.
China quiere limitar ese efecto imponiendo recordatorios: cuando el uso del chatbot supere las dos horas, los desarrolladores tendrán que mostrar ventanas emergentes de aviso.
Auditorías de seguridad anuales para los grandes
Las normas también meten la gobernanza de la IA de lleno en el terreno de las auditorías.
Cualquier servicio o producto de IA con más de 1 millón de usuarios registrados o más de 100.000 usuarios activos mensuales deberá someterse a pruebas de seguridad y auditorías anuales. Esos procesos tendrán que registrar todas las quejas de los usuarios.
Además, las empresas deberán facilitar al máximo la presentación de reclamaciones y comentarios, lo que probablemente multiplicará el número de informes si el marco regulatorio entra en vigor.
Si una compañía no cumple las reglas, las tiendas de aplicaciones podrán recibir la orden de cortar el acceso a su chatbot en China. Para los gigantes de la IA que sueñan con el dominio global, perder ese mercado no es un detalle menor.
Un mercado de cientos de miles de millones en juego
Según Business Research Insights, el mercado mundial de bots de compañía superó los 360.000 millones de dólares en 2025. Para 2035, la consultora prevé que el sector se acerque al billón de dólares, con los mercados asiáticos más favorables a la IA tirando con fuerza del crecimiento.
China es pieza clave de ese puzle. Perder el acceso al país —o verse obligados a rediseñar productos enteros para cumplir la nueva normativa— podría cambiar las hojas de ruta de prácticamente todos los desarrolladores serios de compañeros virtuales.
El calendario es especialmente incómodo para OpenAI. A principios de 2025, su CEO, Sam Altman, relajó las restricciones que bloqueaban el uso de ChatGPT en China y declaró que «nos gustaría trabajar con China» y que la empresa debería «esforzarse al máximo» por hacerlo, porque «creo que es realmente importante».
Si estas reglas se aprueban, trabajar con China implicará reescribir partes fundamentales de la experiencia ChatGPT para funcionar en un entorno donde los reguladores no quieren dejar margen a los riesgos emocionales.
Si estás en crisis
Si tú o alguien que conoces tiene pensamientos suicidas o está en crisis, llama o envía un SMS al 988 para contactar con la Suicide Prevention Lifeline, que te pondrá en comunicación con un centro de crisis local. También hay chat online en 988lifeline.org.
