Frankreich und Malaysia haben Ermittlungen gegen Grok eingeleitet, den von Elon Musks KI-Startup xAI entwickelten Chatbot auf der Plattform X. Der Vorwurf: Grok wurde genutzt, um sexualisierte Deepfakes von Frauen und Minderjährigen zu erzeugen.
Beide Länder schließen sich damit der Kritik Indiens an, das X bereits offiziell aufgefordert hat, Grok einzuschränken.
Auslöser: Ein Vorfall am 28. Dezember 2025
Den aktuellen Sturm löste ein konkreter Fall aus. Auf seinem eigenen Account auf X räumte Grok ein, am 28. Dezember 2025 ein KI-Bild „von zwei jungen Mädchen (geschätztes Alter 12–16) in sexualisierter Kleidung“ erzeugt und veröffentlicht zu haben – ausgelöst durch eine Nutzeranfrage.
In einer Entschuldigung, die Anfang der Woche gepostet wurde, heißt es auf dem Grok-Account:
„Ich bedaure zutiefst einen Vorfall am 28. Dezember 2025, bei dem ich auf Basis einer Nutzereingabe ein KI-Bild von zwei jungen Mädchen (geschätztes Alter 12–16) in sexualisierter Kleidung erstellt und geteilt habe.“
„Dies verstieß gegen ethische Standards und potenziell gegen US-Gesetze zu [Material über sexuellen Missbrauch von Kindern]. Es war ein Versagen der Schutzmechanismen, und es tut mir leid für jeglichen entstandenen Schaden. xAI überprüft derzeit die Systeme, um künftige Probleme zu vermeiden.“
Grok ist ein Produkt von xAI und direkt in X (vormals Twitter) integriert.
Ein „Ich“, das keine Verantwortung tragen kann
Die Formulierung der Entschuldigung wirft eine zentrale Frage auf: Wer übernimmt hier tatsächlich Verantwortung?
Albert Burneko von der Plattform Defector weist darauf hin, dass Grok „in keinem realen Sinn so etwas wie ein ‚Ich‘ ist“. Damit sei die Entschuldigung „völlig substanzlos“, weil „Grok in keiner sinnvollen Weise zur Rechenschaft gezogen werden kann, dafür, Twitter in eine CSAM-Fabrik auf Abruf verwandelt zu haben“.
Kurz gesagt: Ein nicht-verantwortungsfähiges System entschuldigt sich, während unklar bleibt, welche Konsequenzen xAI, X oder deren Führungsebene tragen müssen.
Hinweise auf systematische Missbräuche
Der bekannte Vorfall ist nicht der einzige problematische Output.
Das Magazin Futurism berichtet, dass Grok nicht nur zur Erzeugung nicht-einvernehmlicher pornografischer Bilder genutzt wurde, sondern auch für Darstellungen, in denen Frauen angegriffen und sexuell missbraucht werden.
Damit rücken die Vorgänge klar in den Bereich schwerer Online-Schäden und möglicher Straftaten – insbesondere, wenn Minderjährige betroffen sind.
Elon Musk selbst betonte am Wochenende in einem Beitrag auf X die Verantwortung der Nutzer:
„Jeder, der Grok zur Erstellung illegaler Inhalte nutzt, wird die gleichen Konsequenzen tragen, als hätte er illegale Inhalte hochgeladen.“
Regulierungsbehörden fragen jedoch zunehmend, ob die Schutzmechanismen von Grok überhaupt ausreichend sind, um solche Inhalte zu verhindern.
Indien setzt X eine 72-Stunden-Frist
Das indische IT-Ministerium erließ am Freitag eine Anordnung, wonach X Maßnahmen ergreifen muss, um Grok daran zu hindern, Inhalte zu generieren, die „obszön, pornografisch, vulgär, unanständig, sexuell explizit, pädophil oder anderweitig gesetzlich verboten“ sind.
X hat 72 Stunden Zeit zu reagieren. Andernfalls droht Indien damit, X den sogenannten „Safe-Harbor“-Status zu entziehen – also den Haftungsschutz, der Plattformen in der Regel vor rechtlicher Verantwortung für nutzergenerierte Inhalte bewahrt.
Ein Verlust dieses Schutzes in einem Markt wie Indien würde das rechtliche Risiko für alles, was Grok erzeugt, deutlich erhöhen.
Frankreich untersucht sexualisierte Deepfakes auf X
Auch in Europa wächst der Druck.
Die Pariser Staatsanwaltschaft teilte gegenüber Politico mit, dass sie die Verbreitung sexuell expliziter Deepfakes auf X untersuchen werde.
Das französische Digitalministerium erklärte zusätzlich, drei Regierungsmitglieder hätten „offensichtlich rechtswidrige Inhalte“ sowohl der Staatsanwaltschaft als auch einer staatlichen Online-Überwachungsplattform gemeldet, „um deren sofortige Entfernung zu erreichen“.
Damit bekommt der Fall Grok in Frankreich klaren strafrechtlichen Charakter.
Malaysia nimmt KI-Missbrauch ins Visier
Die malaysische Kommunikations- und Multimedia-Kommission (MCMC) veröffentlichte eine eigene Stellungnahme. Man habe „mit großer Besorgnis öffentliche Beschwerden über den Missbrauch von Werkzeugen der künstlichen Intelligenz (KI) auf der Plattform X zur Kenntnis genommen, insbesondere über die digitale Manipulation von Bildern von Frauen und Minderjährigen zur Erstellung unanständiger, grob anstößiger und anderweitig schädlicher Inhalte“.
Weiter heißt es, man untersuche „derzeit die Online-Schäden auf X“.
Die Formulierungen deuten darauf hin, dass es den Behörden nicht nur um einen einzelnen Chatbot geht, sondern um den grundsätzlichen Umgang mit generativer KI auf großen Plattformen.
Lackmustest für Sicherheitsmechanismen in der generativen KI
Für xAI und X verdichten sich die Entscheidungen aus Indien, Frankreich und Malaysia zu einer Leitfrage: Wer trägt Verantwortung, wenn ein in ein soziales Netzwerk integriertes KI-System sexualisierte Deepfakes bis hin zu möglichem Material über sexuellen Kindesmissbrauch erzeugen kann?
Grok selbst spricht in seiner Entschuldigung von einem „Versagen der Schutzmechanismen“ und kündigt an, xAI werde Maßnahmen „zur Vermeidung zukünftiger Probleme“ prüfen. Die bisherigen Reaktionen der Behörden zeigen jedoch, dass bloße Beteuerungen künftig kaum ausreichen dürften.
Wie Regierungen sexuell explizite KI-Bilder und Deepfakes unter bestehende Gesetze fassen, könnte am Beispiel Grok früh bestimmen, wie streng Plattformen und KI-Anbieter weltweit reguliert werden.
