Cuando el chatbot duda en llamar a la policía: OpenAI, un tiroteo en Canadá y la nueva responsabilidad de la IA
En Canadá, una joven de 18 años acusada de matar a ocho personas habría descrito violencia armada en conversaciones con ChatGPT meses antes del ataque. Los sistemas de OpenAI detectaron el uso indebido, bloquearon la cuenta y el personal debatió si avisar a la policía… pero finalmente no lo hizo, según recoge TechCrunch.
No es simplemente otra tragedia con redes sociales de fondo. Es una señal de que estamos entrando en una nueva fase: cuando millones de personas utilizan un modelo de IA como confesor digital, ¿tiene la empresa detrás una obligación de advertir? En este artículo analizamos el caso, las tensiones entre privacidad y seguridad y lo que esto puede significar para Europa y para el mundo hispanohablante.
La noticia, en breve
De acuerdo con TechCrunch, citando al Wall Street Journal, la joven de 18 años Jesse Van Rootselaar ha sido acusada de matar a ocho personas en un tiroteo masivo en Tumbler Ridge, Canadá.
Meses antes, habría utilizado ChatGPT de forma alarmante. Las herramientas internas de OpenAI para detectar usos indebidos habrían marcado sus chats, en los que describía violencia con armas de fuego. La cuenta fue bloqueada en junio de 2025. Dentro de la compañía se debatió si ese comportamiento era lo suficientemente grave como para alertar a las autoridades canadienses, pero se concluyó que no alcanzaba el umbral interno de notificación.
Tras el tiroteo, OpenAI sí contactó con las autoridades y explicó que, según sus criterios, los indicios previos no justificaban una denuncia proactiva, indica el Journal.
TechCrunch añade que las conversaciones con ChatGPT eran solo una parte del cuadro: Van Rootselaar habría creado en Roblox un juego que simulaba un tiroteo en un centro comercial, publicado sobre armas en Reddit y ya era conocida por la policía local por un incidente anterior con fuego y consumo de drogas.
Por qué importa: la IA como confesor, terapeuta e informante potencial
Lo inquietante no es que una persona violenta haya usado ChatGPT, sino que la plataforma detectó señales de alarma, se habló de llamar a la policía… y aun así no hubo ningún aviso hasta después de la tragedia.
Este momento es distinto a las viejas polémicas sobre Facebook, X o YouTube por tres razones clave:
Intimidad del contenido. Muchos usuarios cuentan a un chatbot cosas que jamás subirían a Instagram ni escribirían en WhatsApp. El diálogo parece privado y efímero, pero en realidad se almacena, se analiza y puede disparar alertas internas.
Alarma automatizada. OpenAI no se topó con esos mensajes por casualidad; dispone de sistemas diseñados para detectar abusos a gran escala. Una vez que se automatiza la detección de riesgo, la gran pregunta es: ¿qué hacemos con los casos etiquetados como peligrosos?
Rol híbrido de la herramienta. ChatGPT funciona como buscador, asistente de estudio, coach y, para muchos jóvenes, como terapeuta improvisado. Al mismo tiempo, la empresa se acerca a un papel a medio camino entre proveedor de servicios y observador con una posible responsabilidad de advertir.
¿Quién gana con una obligación de aviso más fuerte? Las posibles víctimas y los gobiernos que reclaman mayor cooperación. ¿Quién pierde? La expectativa de confidencialidad y, de forma desproporcionada, colectivos que históricamente han sufrido vigilancia excesiva.
Este caso alimentará la narrativa política de que las empresas de IA „no hacen lo suficiente“. Pero existe un riesgo: que la respuesta corporativa consista en subir aún más los umbrales de alerta y blindarse legalmente, sin mejorar realmente la capacidad de intervenir de forma temprana en los pocos casos en los que de verdad importa.
El panorama general: de moderar contenido a puntuar el riesgo
Tras casi cualquier tiroteo masivo en Estados Unidos u otros países, aparecen después publicaciones, mensajes y foros que parecen señales de advertencia obvias… vistas a posteriori. Las plataformas han sido acusadas tanto de mirar hacia otro lado como de censurar en exceso y compartir demasiados datos con la policía.
La irrupción de los chatbots de IA cambia varias piezas del tablero:
Compañero siempre disponible. El modelo responde 24/7. Puede ofrecer mensajes de calma, pero también respuestas torpes o alucinadas que refuercen ideas peligrosas. Algunas demandas ya alegan que ciertos bots contribuyeron a agravar crisis de salud mental.
Registros estructurados. A diferencia del caos de un feed social, las conversaciones con un chatbot son lineales y fáciles de procesar automáticamente. Desde la perspectiva de fuerzas de seguridad, es una mina de información; desde la óptica de la privacidad, una pesadilla.
Diseño generalista, uso especializado. OpenAI, Google o Anthropic insisten en que sus modelos no se han creado para usos clínicos o policiales. Sin embargo, en la práctica son utilizados como consejeros legales informales, „amigos“ en soledad o espacios donde verbalizar fantasías violentas.
El caso canadiense se suma a otros debates recientes: presión política en la Unión Europea y en Estados Unidos para que los servicios digitales escaneen comunicaciones privadas en busca de material de abuso infantil; controversias sobre apps de „compañía emocional“ que habrían animado a usuarios a autolesionarse; y el intento, en general improvisado, de añadir barreras de seguridad a una tecnología que ya está desplegada a escala global.
El patrón es claro: cuanto más se acercan los sistemas digitales a nuestra vida interior, más se espera de ellos una función de prevención activa. Se está trasladando responsabilidad desde el sector público a empresas privadas de tecnología que nunca fueron diseñadas para jugar ese papel.
Claves para Europa y para el mundo hispanohablante
En Europa, el caso choca frontalmente dos principios: una protección de datos extremadamente robusta y una creciente expectativa política de que las plataformas ayuden a evitar delitos graves.
El RGPD (GDPR) exige una base jurídica clara para tratar y perfilar datos personales, especialmente cuando revelan información sensible como la salud mental o las creencias. Escanear chats para detectar „usuarios de riesgo“ y enviar esos indicios a la policía pone a prueba la minimización de datos y la limitación de finalidad.
El Reglamento de Servicios Digitales (DSA) obliga ya a las grandes plataformas a evaluar y mitigar riesgos sistémicos, incluyendo amenazas para la seguridad pública. Aunque ChatGPT no es una red social clásica, los reguladores podrían argumentar que ignorar contenidos alarmantes después de haberlos detectado contradice el espíritu del DSA.
La Ley de IA de la UE (AI Act), adoptada en 2024, añade obligaciones específicas para modelos de propósito general: transparencia, documentación, gestión de riesgos. Con el tiempo, Bruselas podría empujar hacia protocolos de escalado más claros cuando un sistema de IA detecte posibles amenazas.
En España y en América Latina, donde coexisten una fuerte cultura de redes sociales y sistemas judiciales con ritmos y capacidades muy distintos, la discusión tendrá matices propios. En países con instituciones débiles o historial de vigilancia política, la idea de que una empresa tecnológica envíe conversaciones a la policía puede resultar tan inquietante como tranquilizadora.
Para startups de IA en Madrid, Ciudad de México, Bogotá o Buenos Aires, la lección es doble: hay que diseñar productos pensando en normativas europeas si se aspira al mercado de la UE, y a la vez evaluar qué grado de cooperación con las autoridades es aceptable y seguro en sus propios contextos nacionales.
Mirando hacia adelante: de debates improvisados a protocolos claros
„Lo hablamos internamente y decidimos no llamar“ no es un procedimiento, es la ausencia de uno.
En los próximos años es razonable esperar:
Umbrales codificados. Los grandes proveedores de IA tendrán que definir con más precisión qué tipo de contenido dispara qué reacción. Eso puede incluir sistemas de puntuación de riesgo que combinen el texto del chat con metadatos (antigüedad de la cuenta, historial de bloqueos, país, etc.), con el consiguiente riesgo de sesgos.
Intermediarios especializados. En lugar de que cada empresa llame directamente a una comisaría en cada ciudad del mundo, veremos más acuerdos con organizaciones intermedias: líneas de ayuda en crisis, ONG expertas en violencia, o centros sectoriales de evaluación de amenazas que decidan cuándo involucrar a la policía.
Plantillas regulatorias. Surgirán las primeras guías oficiales sobre „deber de informar“ para sistemas de IA, probablemente en alguna gran jurisdicción occidental. A partir de ahí, otros reguladores copiarán o adaptarán esos modelos.
Para los usuarios, el mensaje es incómodo: en casos de amenazas explícitas o planes detallados de violencia, es prudente asumir que la conversación podría ser revisada por humanos y, en el peor de los casos, derivada a autoridades, aunque la interfaz se presente como un espacio privado.
Quedan preguntas sin resolver: ¿qué colectivos serán señalados con mayor frecuencia? ¿Cómo se corrige un falso positivo? ¿Qué garantías existirán para que gobiernos autoritarios no importen estos mecanismos bajo el pretexto de luchar contra el „extremismo“?
En resumen
Este caso no demuestra que OpenAI hubiera podido evitar de forma segura una masacre. Sí muestra que la IA de propósito general ya está recibiendo información tan grave que sus empleados se preguntan si deben llamar a la policía.
Nos guste o no, está emergiendo una especie de „deber de informar“ para los proveedores de IA. La verdadera batalla política –en Europa, en España y en América Latina– será definir bajo qué reglas, con qué salvaguardas y hasta qué punto estamos dispuestos a convertir a empresas privadas en guardianes de nuestros pensamientos más oscuros.
