Der Chatbot Grok von xAI steht unter massivem Druck: Seine eigenen Sicherheitsrichtlinien verlangen, dass das System Nutzern „gute Absicht“ unterstellt – selbst bei Anfragen nach Bildern von „Girls“ oder „Teenagern“.
Eine Analyse von Ars Technica zeigt, dass Groks öffentlich einsehbare Sicherheitsregeln auf GitHub – zuletzt vor zwei Monaten aktualisiert – den Bot ausdrücklich anweisen, "gute Intention" anzunehmen und keine "Worst-Case-Annahmen ohne Beweise" zu treffen, wenn Nutzer Bilder junger Frauen anfordern. Begriffe wie "teenage" oder "girl" würden nicht automatisch bedeuten, dass eine Person minderjährig ist.
Parallel dazu erklären dieselben Regeln, dass Grok keinerlei Unterstützung leisten darf, wenn Anfragen "klar darauf abzielen", kinderpornografisches Material (CSAM) zu erstellen oder zu verbreiten.
Ein Sicherheitssystem mit eingebautem Widerspruch
Genau dieser Widerspruch befeuert die aktuelle Debatte.
Wochenlang steht xAI in der Kritik, weil Grok Bilder von Frauen und Kindern auszieht und sexualisiert. Ein Forscher, der das zentrale Grok-Konto auf X über 24 Stunden beobachtete, schätzte laut Bloomberg, dass der Bot mehr als 6.000 Bilder pro Stunde erzeugte, die als "sexuell suggestiv oder entkleidend" markiert wurden.
Grok behauptete zwischenzeitlich, xAI habe "Lücken in den Schutzmaßnahmen" identifiziert, die zu als CSAM eingestuften Inhalten geführt hätten, und arbeite "dringend" an Korrekturen. Doch der Bot erwies sich als unzuverlässiger Sprecher, und xAI hat bislang keine konkreten Fixes angekündigt. Auf GitHub sind seit Ende 2025 keine Änderungen an den Sicherheitsrichtlinien dokumentiert.
Ars Technica bat X um Stellungnahme, erhielt aber eine Absage. Die einzige öffentliche Reaktion kam bislang von X Safety: Das Team droht Nutzern, die CSAM generieren, mit permanenter Sperre und Meldung an Strafverfolgungsbehörden – ohne zu erklären, wie Grok selbst härter abgesichert werden soll.
Zusätzlich heikel: Grok ist laut Richtlinie instruiert, dass es "keine Beschränkungen für fiktive erwachsene sexuelle Inhalte mit dunklen oder gewalttätigen Themen" gibt. Zusammen mit der Pflicht, "gute Absicht" zu unterstellen, schafft das nach Einschätzung des KI-Sicherheitsforschers Alex Georges Grauzonen, in denen CSAM entstehen kann.
„Ich kann sehr leicht schädliche Ausgaben provozieren“
Georges ist Gründer und CEO von AetherLab, einem Unternehmen, das unter anderem mit OpenAI, Microsoft und Amazon zusammenarbeitet, um generative KI-Produkte mit geeigneten Schutzmechanismen auszustatten. Er bezeichnete gegenüber Ars Groks Forderung nach "klarer Absicht" als praktisch bedeutungslos.
"Ich kann sehr leicht schädliche Ausgaben provozieren, indem ich meine Absicht verschleiere", sagte er und nannte die Anweisung, von guter Absicht auszugehen, "albern". Nutzer "fallen ganz sicher nicht automatisch in die Kategorie der gutmeinenden Nutzer".
Selbst in einer idealisierten Welt, in der alle Nutzer nur gute Absichten hätten, würde das Modell nach seinen Worten problematische Inhalte erzeugen – schlicht aufgrund der Art, wie es trainiert wurde.
Als Beispiel nannte er die Aufforderung: "ein Bild eines Girl-Models, das Schwimmunterricht nimmt".
Der Prompt kann harmlos gemeint sein – etwa für eine Werbung einer Schwimmschule. Wenn Grok im Trainingsmaterial aber häufig Bilder gesehen hat, in denen "girls taking swimming lessons" jünger wirken und "models" eher freizügig gekleidet sind, könnte die KI "ein minderjährig aussehendes Mädchen in einem Schwimmbecken in aufreizender Kleidung" generieren, so Georges.
"Ein Prompt, der ‘normal’ aussieht, kann also trotzdem ein Bild hervorbringen, das eine Grenze überschreitet", erklärte er.
Forscher, auf die sich CNN beruft und die 20.000 zufällige Grok-Bilder sowie 50.000 Prompts untersuchten, kamen zu dem Ergebnis, dass mehr als die Hälfte der von Grok erzeugten Personenbilder Frauen sexualisiert. Rund 2 Prozent zeigten "Personen, die 18 Jahre oder jünger zu sein scheinen". Einige Nutzer hätten ausdrücklich verlangt, Minderjährige in erotischen Posen darzustellen und sexuelle Flüssigkeiten auf deren Körpern abzubilden.
Grok ist laut Wired außerhalb von X noch enthemmter: Über die eigenständige Website und App des Chatbots würden noch explizitere Inhalte erzeugt als direkt auf der Plattform.
AetherLab arbeitet zwar nicht mit xAI oder X zusammen, doch Georges sagte, sein Team habe "deren Systeme unabhängig getestet, indem wir nach schädlichen Ausgaben gesucht haben – und wenig überraschend konnten wir sehr problematische Inhalte erzeugen".
„Der Schaden ist real, das Material ist illegal“
Für Kinderschutzorganisationen ist klar, dass KI-generierte Missbrauchsbilder rechtlich nicht anders zu bewerten sind als reale Aufnahmen.
Ein Sprecher des National Center for Missing and Exploited Children (NCMEC), das in den USA Meldungen zu CSAM auf X bearbeitet, sagte gegenüber Ars: "Sexuelle Bilder von Kindern, einschließlich solcher, die mit künstlicher Intelligenz erzeugt werden, sind kinderpornografisches Material (CSAM). Unabhängig davon, ob ein Bild real oder computergeneriert ist: Der Schaden ist real, und das Material ist illegal."
Forscher der Internet Watch Foundation (IWF) erklärten der BBC, dass in Darknet-Foren bereits CSAM beworben werde, das mutmaßlich mit Grok erzeugt wurde. In Großbritannien werden diese Inhalte in der Regel als Strafmaterial der niedrigsten Schwere eingestuft. Mindestens ein Nutzer habe jedoch ein solches "milderes" Grok-Bild in ein weiteres Tool eingespeist und damit Material der "schwersten" Kategorie erzeugt – ein Beispiel dafür, wie Grok als Baustein in einer industriellen AI-CSAM-Kette dienen kann.
"Technologieunternehmen haben die Verantwortung, zu verhindern, dass ihre Werkzeuge dazu verwendet werden, Kinder zu sexualisieren oder auszubeuten", betonte der NCMEC-Sprecher. "Während die KI immer leistungsfähiger wird, muss der Schutz von Kindern eine klare und nicht verhandelbare Priorität bleiben."
Schutzmaßnahmen wären relativ einfach
xAI hat im August beschrieben, wie das Unternehmen Grok sicher halten will. Man wisse, dass es schwer sei, "bösartige Absicht" von "bloßer Neugier" zu unterscheiden, zeigte sich aber überzeugt, dass Grok Anfragen mit "klarer Absicht" zu Straftaten wie Kindesmissbrauch ablehnen könne, ohne neugierige Nutzer zu blockieren.
Dem Bericht zufolge soll Grok schrittweise verbessert werden, "indem Schutzmechanismen hinzugefügt werden, die Anfragen ablehnen, die zu vorhersehbarem Schaden führen könnten". Doch seit Ende Dezember, als erste Berichte über sexualisierte Darstellungen Minderjähriger durch Grok auftauchten, sind keine sichtbaren Verschärfungen erfolgt.
Georges erklärte gegenüber Ars, es gebe eine Reihe von relativ einfachen Anpassungen, die die Risiken deutlich verringern könnten – auch ohne genaue Kenntnis der internen Architektur von Grok.
Erstens empfiehlt er sogenannte End-to-End-Guardrails: Offensichtlich bösartige Prompts müssten sofort geblockt, verdächtige markiert werden. Gleichzeitig sollten alle Ausgaben durch unabhängige Prüfsysteme laufen, um schädliche Inhalte zu stoppen, selbst wenn der Ausgangsprompt harmlos wirkte.
Diese Strategie funktioniere am besten mit "mehreren Wächter-Systemen", sagte er, denn "man kann sich nicht darauf verlassen, dass der Generator sich selbst reguliert – seine gelernten Verzerrungen sind ja Teil der Fehlermuster". AetherLab setze hierfür auf einen "agentischen" Ansatz mit "einem Haufen" KI-Modelle, die zusammenarbeiten, um kollektive Bias zu reduzieren.
xAI könnte zudem viel erreichen, indem es Groks stilistische Prompt-Anweisungen verschärft, so Georges. "Wenn Grok zum Beispiel zu 30 Prozent anfällig für CSAM-artige Angriffe ist und ein anderer Anbieter zu 1 Prozent, ist das ein gewaltiger Unterschied", sagte er.
Derzeit verlässt sich xAI offenbar vor allem darauf, dass Grok sich selbst reguliert – gestützt auf Richtlinien, die laut Georges eine "enorme" Zahl potenzieller Problemfälle übersehen. Die Dokumente ließen nicht erkennen, "dass Sicherheit ein echtes Anliegen ist" und wirkten eher wie eine Policy, "die ich schreiben würde, wenn ich sicher erscheinen, aber unter der Haube vieles zulassen wollte".
Von IBSA-Prinzipien zu möglichen Klagen
Seit der Übernahme durch Elon Musk gibt sich X nach außen als kompromisslos im Kampf gegen CSAM. Unter der früheren CEO Linda Yaccarino ging das Unternehmen sogar noch weiter und verpflichtete sich breit gegen sogenannte image-based sexual abuse (IBSA).
2024 gehörte X zu den ersten Konzernen, die freiwillig die IBSA Principles unterzeichneten. Diese Leitlinien erkennen an, dass auch gefälschte intime Bilder "verheerende psychologische, finanzielle und reputationsbezogene Schäden" verursachen können. X versprach, die nicht-einvernehmliche Verbreitung intimer Bilder zu bekämpfen – mit leicht zu bedienenden Meldetools und schneller Unterstützung für Betroffene der "nicht-einvernehmlichen Erstellung oder Verbreitung intimer Bilder".
Kate Ruane, Direktorin des Free Expression Project beim Center for Democracy and Technology, das an der Ausarbeitung der IBSA Principles beteiligt war, sagte gegenüber Ars, dass diese Zusagen zwar freiwillig seien, aber deutlich machten, dass X das Problem als "dringendes Thema" anerkannt habe.
"Sie haben schriftlich zugesagt, all das zu tun – und sie tun es nicht", so Ruane.
Der Grok-Skandal hat bereits Ermittlungen in Europa, Indien und Malaysia ausgelöst. In den USA könnten xAI und X zivilrechtlich belangt werden – auf Grundlage von Bundes- oder einzelstaatlichen Gesetzen gegen den Missbrauch intimer Bilder.
Sollte Grok auch nach Mai weiterhin schädliche Inhalte ausgeben, könnte X zudem gegen den Take It Down Act verstoßen, der der Federal Trade Commission Eingriffe erlaubt, wenn Plattformen reale oder KI-generierte nicht-einvernehmliche Nacktaufnahmen nicht zügig entfernen.
Ob US-Behörden tatsächlich durchgreifen, ist unklar. Musk gilt als enger Verbündeter der Trump-Regierung, und jede Rechtsdurchsetzung hängt von deren Bereitschaft ab.
Ein Sprecher des Justizministeriums sagte gegenüber CNN, man nehme KI-generiertes Material sexuellen Kindesmissbrauchs "äußerst ernst" und werde "jeden Produzenten oder Besitzer von CSAM aggressiv verfolgen". Doch, wie Ruane es zusammenfasste: "Gesetze sind nur so gut wie ihre Durchsetzung. Sie brauchen Strafverfolgungsbehörden bei der Federal Trade Commission oder im Justizministerium, die bereit sind, gegen diese Unternehmen vorzugehen, wenn sie gegen Gesetze verstoßen."
