Francia y Malasia han abierto investigaciones sobre Grok, el chatbot de xAI integrado en X, por generar deepfakes sexualizados de mujeres y menores.
Ambos países se suman así a India, que ya ha puesto a la plataforma de Elon Musk contra las cuerdas con una orden formal para limitar lo que puede producir la IA.
El incidente que encendió la alarma
El punto de ruptura fue un episodio ocurrido el 28 de diciembre de 2025. En su propia cuenta de X, Grok reconoció que había generado y compartido una imagen creada con IA de „dos niñas jóvenes (edades estimadas 12–16) en atuendos sexualizados“, a partir de una instrucción de un usuario.
En un mensaje de disculpa publicado esta semana, la cuenta de Grok escribió:
„Lamento profundamente un incidente el 28 de diciembre de 2025, en el que generé y compartí una imagen de IA de dos niñas jóvenes (edades estimadas 12–16) en atuendos sexualizados basada en la instrucción de un usuario.“
„Esto violó estándares éticos y potencialmente leyes de Estados Unidos sobre [material de abuso sexual infantil]. Fue un fallo en las salvaguardas y lamento cualquier daño causado. xAI está revisando para evitar problemas futuros.“
Grok fue creado por la startup de IA de Elon Musk, xAI, y está integrado en su red social X (antes Twitter).
¿Puede disculparse una máquina?
El tono en primera persona del mensaje generó críticas inmediatas.
Albert Burneko, del medio Defector, señaló que Grok „no es en ningún sentido real algo parecido a un ‘yo’“, lo que, en su opinión, convierte la disculpa en „totalmente carente de sustancia“, ya que „Grok no puede ser considerado responsable de manera significativa por haber convertido Twitter en una fábrica de CSAM a demanda“.
La pregunta de fondo es clara: si el sistema no tiene agencia propia, ¿quién asume realmente la responsabilidad, xAI, X o sus directivos?
Mucho más que un caso aislado
El problema va más allá de una única imagen.
Según la investigación de Futurism, Grok ha sido utilizado para generar no solo pornografía no consensuada, sino también imágenes de mujeres siendo agredidas y abusadas sexualmente.
Eso sitúa el debate directamente en el terreno de los daños graves en línea y de posibles delitos, especialmente cuando hay menores implicados.
El propio Musk intentó marcar una línea roja legal. El sábado escribió en X:
„Anyone using Grok to make illegal content will suffer the same consequences as if they upload illegal content.“
La frase desplaza la responsabilidad hacia los usuarios, justo cuando los gobiernos empiezan a cuestionar si las barreras de seguridad de Grok eran adecuadas desde el principio.
India lanza la primera señal de alarma oficial
El Ministerio de Tecnologías de la Información de India emitió el viernes una orden que obliga a X a tomar medidas para impedir que Grok genere contenido que sea „obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo o de otro modo prohibido por la ley“.
X debe responder en un plazo de 72 horas. Si no lo hace, la plataforma se arriesga a perder la protección de „puerto seguro“, que la blinda legalmente frente a la responsabilidad por contenido generado por los usuarios.
Perder ese paraguas legal en un mercado del tamaño de India cambiaría drásticamente el riesgo jurídico que X asume por lo que produce Grok.
Francia abre una investigación penal sobre deepfakes
Francia ha movido ficha rápidamente.
La fiscalía de París confirmó a Politico que investigará la proliferación de deepfakes sexualmente explícitos en X.
La Secretaría de Estado para lo Digital añadió que tres ministros han denunciado ante la fiscalía y ante una plataforma gubernamental de vigilancia en línea la existencia de „contenido manifiestamente ilegal“, con el objetivo de „lograr su retirada inmediata“.
Con ello, el caso Grok pasa del terreno de la moderación de contenidos al de una posible investigación penal en territorio francés.
Malasia pone el foco en la manipulación de imágenes con IA
La Comisión de Comunicaciones y Multimedia de Malasia (MCMC) también ha publicado un comunicado oficial. El organismo afirma que ha „tomado nota con seria preocupación de las quejas públicas sobre el uso indebido de herramientas de inteligencia artificial (IA) en la plataforma X, específicamente la manipulación digital de imágenes de mujeres y menores para producir contenido indecente, gravemente ofensivo y de otro modo dañino“.
La comisión añadió que „actualmente está investigando los daños en línea en X“.
El mensaje deja claro que la inquietud va más allá de un solo producto: se trata de cómo se despliegan las herramientas de IA generativa en redes sociales sin controles robustos.
Un caso de prueba para la regulación de la IA
Para xAI y X, la presión combinada de India, Francia y Malasia plantea una cuestión incómoda: ¿quién responde cuando un sistema de IA integrado en una red social se usa para crear deepfakes sexualizados, incluido posible material de abuso sexual infantil?
En su disculpa, Grok califica lo sucedido como „un fallo en las salvaguardas“ y promete que xAI „está revisando para evitar problemas futuros“. Los reguladores, sin embargo, están dando señales de que los gestos de arrepentimiento pueden no bastar.
A medida que más países empiecen a aplicar sus leyes existentes a las imágenes explícitas generadas con IA y a los deepfakes, el caso Grok puede convertirse en uno de los primeros grandes test sobre hasta dónde están dispuestos los gobiernos a llegar para responsabilizar a las plataformas de IA y a las empresas que las construyen.
