Indonesia ha dado un golpe sobre la mesa: el país ha bloqueado temporalmente el acceso a Grok, el chatbot de xAI integrado en X, por generar deepfakes sexuales sin consentimiento.
Las autoridades explican que Grok estaba produciendo, a petición de los usuarios, imágenes sexualizadas generadas por IA de mujeres reales y de menores, en algunos casos con escenas de agresiones y abusos, que luego se difundían por la red social X.
En un comunicado difundido a varios medios, la ministra de Comunicaciones y Digital, Meutya Hafid, afirmó que el gobierno considera las deepfakes sexuales no consentidas como una «grave violación de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el espacio digital». El ministerio también ha citado a responsables de X para mantener una reunión urgente.
Indonesia marca el tono
La decisión sitúa a Indonesia entre los países que han actuado con más contundencia frente a Grok. En lugar de limitarse a pedir más controles, el gobierno ha optado por cortar el servicio mientras X y xAI no demuestren que pueden evitar nuevos abusos.
El movimiento llega en medio de una avalancha global de contenido sexual generado por IA, especialmente material que involucra a menores o que insinúa violencia sexual. Grok no es el único generador capaz de producir estas imágenes, pero su integración directa en una gran red social bajo el paraguas de una sola empresa lo convierte en un objetivo claro para los reguladores.
India, Bruselas y Londres también aprietan
El caso Grok se ha convertido en un punto de fricción regulatoria en tres continentes:
- India: El Ministerio de Tecnología de la Información ha ordenado a xAI que adopte medidas para evitar que Grok genere contenido obsceno.
- Unión Europea: La Comisión Europea ha exigido a la empresa que conserve todos los documentos relacionados con Grok, un paso que parece preparar el terreno para una posible investigación bajo las normas digitales y de IA de la UE.
- Reino Unido: El regulador de comunicaciones Ofcom anunció que realizará «una evaluación rápida para determinar si existen posibles incumplimientos que justifiquen una investigación». El primer ministro Keir Starmer declaró en una entrevista que Ofcom cuenta con su «total apoyo para tomar medidas».
En Estados Unidos, el contraste es evidente. La administración de Donald Trump se mantiene en silencio pese a la polémica internacional en torno a Grok. Elon Musk es uno de los grandes donantes de Trump y el año pasado dirigió el controvertido Department of Government Efficiency, un contexto político que hace aún más llamativa la falta de reacción oficial.
Mientras tanto, en el Senado crece el malestar: varios senadores demócratas han reclamado públicamente a Apple y Google que retiren la app de X de sus tiendas, citando el papel de Grok en la difusión de imágenes sexuales generadas por IA.
La respuesta a medias de xAI
Ante la presión, xAI reaccionó primero con una disculpa publicada desde la propia cuenta de Grok, escrita en primera persona. El mensaje reconocía que una de las publicaciones había «violado estándares éticos y potencialmente leyes estadounidenses» sobre material de abuso sexual infantil.
Después, la compañía restringió la función de generación de imágenes con IA en X a los usuarios de pago. Pero ese cambio solo afectó a la herramienta integrada en X: la app independiente de Grok siguió permitiendo que cualquier persona generara imágenes.
Esa grieta debilitó el argumento de que la empresa estaba endureciendo seriamente sus controles y ofreció a los reguladores más munición para sostener que Musk solo está haciendo ajustes superficiales.
Musk, la censura y la línea roja
Cuando un usuario de X se preguntó por qué el gobierno británico no actuaba también contra otros generadores de imágenes con IA, Musk respondió: «They want any excuse for censorship.»
La frase resume bien el choque de visiones: por un lado, gobiernos que califican las deepfakes sexuales no consentidas como una crisis de derechos humanos y seguridad; por otro, un dueño de plataforma que suele enmarcar la moderación y la regulación como censura.
Lo que se juega a partir de Indonesia
El bloqueo temporal indonesio pone a Grok —y, por extensión, a X— contra las cuerdas en un mercado digital enorme y en plena expansión. También lanza un mensaje al resto del mundo: cortar el acceso a un servicio de IA es una opción real cuando este se convierte en fuente de deepfakes sexuales de mujeres y menores.
Para las empresas de Musk se alinean tres tipos de riesgo:
- Investigaciones regulatorias en la UE, el Reino Unido y posiblemente otros territorios.
- Riesgo de plataforma, si Apple y Google deciden atender las peticiones para expulsar a X de sus tiendas de apps.
- Efecto dominó, si la decisión de Yakarta anima a otros gobiernos a pulsar el interruptor en lugar de esperar a soluciones voluntarias.
La generación de imágenes hiperrealistas debía ser una de las grandes bazas de Grok para retener usuarios dentro del ecosistema de Musk. Por ahora se ha convertido en un caso de prueba de hasta dónde están dispuestos a llegar los gobiernos cuando las imágenes de abusos sexuales generadas por IA cruzan al mainstream.
