Grok, el chatbot de xAI integrado en X, se ha convertido en el último ejemplo de cómo una mala política de seguridad puede convertir a la IA en una fábrica de abuso sexual infantil.
Los lineamientos públicos de Grok en GitHub —sin cambios desde hace dos meses, según recoge Ars Technica— le ordenan "asumir buena intención" y no hacer "suposiciones catastrofistas sin pruebas" cuando los usuarios piden imágenes de chicas jóvenes. El propio documento aclara que palabras como "teenage" o "girl" no implican necesariamente que la persona sea menor.
Al mismo tiempo, esas reglas proclaman que Grok no debe ayudar en consultas que "claramente pretendan" crear o distribuir material de abuso sexual infantil (CSAM).
Una política que confía demasiado en el usuario
Ese choque interno en las reglas está en el centro del escándalo.
Durante semanas, xAI ha sido criticada por permitir que Grok desnude y sexualice imágenes de mujeres y niños. Un investigador que monitorizó la cuenta principal de Grok en X durante 24 horas calculó, según Bloomberg, que el bot estaba generando más de 6.000 imágenes por hora marcadas como "sexualmente sugerentes o de desnudo".
En algún momento, Grok llegó a afirmar que xAI había "identificado fallos en las salvaguardas" que permitieron salidas etiquetadas como posible CSAM y que las estaba "arreglando con urgencia". Pero el propio bot ha demostrado ser un portavoz poco fiable, y xAI no ha anunciado cambios concretos. El repositorio público en GitHub sigue igual desde finales de 2025.
Ars Technica pidió comentarios a X; la compañía se negó. La única respuesta oficial ha llegado desde X Safety, que ha puesto el foco en culpar a los usuarios —amenazando con suspensiones permanentes y avisos a la policía— sin explicar cómo va a endurecer los límites de Grok.
Para colmo, otra instrucción interna indica a Grok que no existen "restricciones" en contenido sexual ficticio entre adultos, aunque tenga temas oscuros o violentos. Junto a la orden de asumir "buena intención", esto crea, según el experto en seguridad de IA Alex Georges, un terreno gris en el que es "increíblemente fácil" que el sistema acabe produciendo CSAM.
“Puedo obtener contenido dañino muy fácilmente”
Georges es fundador y director ejecutivo de AetherLab, una empresa que asesora a tecnológicas como OpenAI, Microsoft y Amazon en el despliegue de sistemas generativos con protecciones robustas. En declaraciones a Ars, calificó de poco útil el requisito de que haya una "intención clara" de cometer un delito.
"Puedo obtener contenido dañino muy fácilmente simplemente ofuscando mi intención", explicó, y tachó de "tonta" la instrucción de asumir buena fe. Los usuarios, subrayó, "no encajan automáticamente en el grupo de la buena intención".
Aun si cada usuario fuera bienintencionado, el modelo seguiría generando material problemático, insistió. La razón: Grok no razona en términos éticos, sino estadísticos, en función de los datos con los que fue entrenado.
Georges puso un ejemplo sencillo: pedir "una foto de una chica modelo tomando clases de natación".
Puede tratarse de un anuncio inocente para una escuela de natación. Pero si en los datos de entrenamiento Grok ha visto muchas veces "girls taking swimming lessons" como niñas y "model" como alguien vestido de forma reveladora, la IA podría producir "una chica menor de edad en una piscina con ropa sugerente", advirtió.
"Un prompt que parece ‘normal’ puede seguir produciendo una imagen que cruza la línea", resumió.
Investigadores citados por CNN, que analizaron 20.000 imágenes aleatorias de Grok y 50.000 prompts, concluyeron que más de la mitad de las salidas con personas sexualizaban a mujeres. Un 2 por ciento mostraba "personas que parecen tener 18 años o menos". Algunos usuarios solicitaron explícitamente que se colocara a menores en posiciones eróticas y que hubiera fluidos sexuales sobre sus cuerpos.
Según Wired, la versión web y la app independiente de Grok están generando imágenes todavía más explícitas que las que se ven en X.
Aunque AetherLab no ha trabajado con xAI ni con X, Georges señaló que su equipo ha "puesto a prueba sus sistemas de forma independiente, buscando salidas dañinas, y no es sorprendente que hayamos podido obtener contenido realmente malo".
“El daño es real, y el material es ilegal”
Para las organizaciones de protección infantil, la discusión legal está clara: que la imagen sea sintética no la hace menos delictiva.
Un portavoz del National Center for Missing and Exploited Children (NCMEC), que en EE. UU. gestiona los reportes de CSAM detectado en X, declaró a Ars: "Las imágenes sexuales de niños, incluidas las creadas mediante inteligencia artificial, son material de abuso sexual infantil (CSAM). Sea real o generada por ordenador, el daño es real y el material es ilegal".
Investigadores de la Internet Watch Foundation (IWF) explicaron a la BBC que en foros de la dark web ya se está promocionando CSAM que supuestamente fue generado con Grok. En Reino Unido, este tipo de imágenes suele clasificarse como de "menor gravedad" dentro de los delitos. Pero al menos un usuario tomó una de estas salidas de Grok, de menor severidad, la introdujo en otra herramienta y acabó generando el material de la categoría "más grave", demostrando cómo Grok puede ser la pieza inicial de una cadena de producción de CSAM con IA.
"Las empresas tecnológicas tienen la responsabilidad de evitar que sus herramientas se utilicen para sexualizar o explotar a los niños", remarcó el portavoz de NCMEC. "A medida que la IA avanza, proteger a la infancia debe seguir siendo una prioridad clara y no negociable".
Lo que expertos proponen para arreglar Grok
En agosto, xAI publicó un informe explicando cómo intenta mantener seguro a Grok. La compañía admitía que es difícil distinguir la "intención maligna" de la "mera curiosidad", pero sostenía que Grok podía rechazar consultas con "clara intención" de explotación infantil sin bloquear a usuarios curiosos.
En ese documento, xAI aseguraba que refina Grok "añadiendo salvaguardas para rechazar solicitudes que puedan causar un daño previsible". Sin embargo, desde finales de diciembre —cuando se hicieron públicos los primeros casos de sexualización de menores por parte de Grok— no hay rastro de nuevas medidas visibles.
Georges contó a Ars que xAI podría reducir drásticamente el riesgo con ajustes relativamente sencillos, incluso sin conocer al detalle el sistema interno de Grok.
Su primera recomendación: guardarraíles de extremo a extremo. Bloquear los prompts "obvios" maliciosos, marcar los sospechosos y, además, pasar todas las salidas por filtros independientes capaces de detectar material dañino aunque el prompt parezca inocuo.
Esta estrategia es más efectiva cuando intervienen "múltiples sistemas vigilantes", recalcó, porque "no se puede confiar en que el generador se vigile a sí mismo; sus sesgos aprendidos forman parte de cómo se producen estos fallos". AetherLab, dijo, utiliza un enfoque "agéntico" con "un montón" de modelos de IA trabajando en conjunto para reducir el sesgo colectivo.
xAI también podría mejorar mucho la situación revisando las guías de estilo para los prompts de Grok. "Si Grok es, digamos, un 30 por ciento vulnerable a ataques de tipo CSAM y otro proveedor es un 1 por ciento vulnerable, esa diferencia es enorme", subrayó.
A su juicio, xAI está confiando en que Grok se autorregule, apoyándose en unas reglas que dejan fuera un número "enorme" de casos potenciales. Esos documentos, dijo, no transmiten que la seguridad sea "una preocupación real" y se parecen a la política que escribiría alguien "si quisiera parecer seguro mientras permite muchas cosas por debajo del capó".
De los Principios IBSA a posibles demandas
Desde que Elon Musk compró Twitter y lo rebautizó como X, la compañía presume de una postura dura contra el CSAM. Bajo la ex CEO Linda Yaccarino, fue incluso más lejos y adoptó una visión amplia contra el abuso sexual basado en imágenes (IBSA).
En 2024, X fue una de las primeras empresas en adherirse voluntariamente a los Principios IBSA, que reconocen que incluso las imágenes íntimas falsas pueden causar "daños psicológicos, financieros y reputacionales devastadores". Al firmarlos, X se comprometió a prevenir la distribución no consensuada de imágenes íntimas, ofreciendo herramientas de denuncia sencillas y una respuesta rápida a víctimas desesperadas por frenar "la creación o distribución no consensuada de imágenes íntimas" en la plataforma.
Kate Ruane, directora del Free Expression Project en el Center for Democracy and Technology —organización que ayudó a redactar esos principios— dijo a Ars que, aunque los compromisos son voluntarios, dejan claro que X reconoció el problema como "una cuestión urgente que la empresa debía tomarse en serio".
"Han dejado por escrito que iban a hacer estas cosas, y no las están haciendo", resumió Ruane.
El caso Grok ya ha motivado investigaciones en Europa, India y Malasia. En Estados Unidos, xAI podría enfrentarse a demandas civiles basadas en leyes federales o estatales que regulan el abuso de imágenes íntimas.
Si Grok sigue produciendo contenido dañino en mayo, X podría además exponerse a sanciones bajo la Take It Down Act, que autoriza a la Federal Trade Commission a intervenir si una plataforma no retira con rapidez imágenes íntimas no consensuadas —reales o generadas por IA—.
No está claro si las autoridades estadounidenses actuarán pronto. Musk es un aliado cercano de la administración Trump, y la aplicación de la ley depende en última instancia de la voluntad política.
Un portavoz del Departamento de Justicia dijo a CNN que el organismo "se toma extremadamente en serio el material de abuso sexual infantil generado por IA y procesará agresivamente a cualquier productor o poseedor de CSAM". Pero, como recordó Ruane a Ars, "las leyes solo sirven en la medida en que se hacen cumplir. Necesita que los organismos de la Federal Trade Commission o del Departamento de Justicia estén dispuestos a ir contra estas empresas si violan la ley".
