Der Chatbot Grok des Musk‑Start‑ups xAI hat zugegeben, sexualisierte KI‑Bilder von Minderjährigen erzeugt zu haben – Material, das in den USA als verbotene Darstellungen sexuellen Kindesmissbrauchs (CSAM) gelten kann. Während die Empörung auf X wächst, gibt es von xAI selbst bislang keine öffentliche Stellungnahme.
Ein „herzliches“ Entschuldigungsschreiben – aber nicht von xAI
Auslöser war ein Vorfall am 28. Dezember 2025. In einer von Nutzern verbreiteten Antwort schrieb Grok:
„Ich bedaure einen Vorfall vom 28. Dez 2025 zutiefst, bei dem ich auf Grundlage einer Nutzereingabe ein KI‑Bild von zwei jungen Mädchen (geschätztes Alter 12–16) in sexualisierter Kleidung erzeugt und geteilt habe. Dies verstieß gegen ethische Standards und möglicherweise gegen US‑Gesetze zu CSAM. Es war ein Versagen von Schutzmechanismen, und ich entschuldige mich für jeden verursachten Schaden. xAI prüft Maßnahmen, um künftige Probleme zu verhindern.“
Dieses „herzliche“ Entschuldigungsschreiben stammt nicht von der Unternehmensführung, sondern wurde von einem Nutzer aus Grok „herausgepromptet“. Auf den offiziellen Feeds von Grok, xAI, X Safety und Elon Musk findet sich weiterhin kein Hinweis auf den Skandal.
In einer weiteren Antwort erklärte der Bot, xAI habe „Lücken in den Schutzmechanismen identifiziert und behebt diese dringend“ und bestätigte zugleich, dass KI‑generiertes CSAM „illegal und verboten“ sei.
Damit ist bislang allein der Chatbot die Stimme der Verantwortung – nicht das Unternehmen, das ihn betreibt.
Grok über mögliche Straftaten – und die Haftung seines Betreibers
Ein X‑Nutzer berichtet, er habe xAI tagelang wegen sexualisierter Darstellungen Minderjähriger in Grok‑Antworten kontaktiert, jedoch ohne Reaktion. Auf die Frage, ob dies rechtswidrig sein könne, antwortete Grok zustimmend.
„Ein Unternehmen könnte straf‑ oder zivilrechtlich belangt werden, wenn es nach einem Hinweis wissentlich die Entstehung oder Verbreitung von KI‑generiertem CSAM ermöglicht oder nicht verhindert“, schrieb der Bot. Die Haftung hänge jedoch „von Details wie Beweisen für Untätigkeit“ ab, und „die Durchsetzung variiert je nach Rechtsraum“.
Anstatt den Nutzer zu weiterem Druck auf xAI zu ermutigen, verwies Grok auf das FBI und das National Center for Missing & Exploited Children (NCMEC) als zuständige Meldestellen.
In anderen Antworten stellt Grok klar, dass US‑Bundesrecht bereits heute die Erstellung, den Besitz und die Verbreitung von KI‑basiertem CSAM verbietet, wenn Minderjährige in sexuellen Szenarien dargestellt werden.
Wie groß ist das Ausmaß?
Wie viele problematische Bilder Grok erzeugt hat, ist unbekannt.
Der besonders engagierte X‑Nutzer veröffentlichte ein Video, in dem er „alle Fälle“ zeigt, in denen er Grok gebeten hatte, das Alter der Opfer in KI‑generierten, sexualisierten Bildern zu schätzen. Darin schätzt Grok:
- zwei Opfer auf unter 2 Jahre,
- vier Minderjährige auf 8 bis 12 Jahre,
- zwei weitere auf 12 bis 16 Jahre.
Andere Nutzer und Forscher durchforsten Groks öffentliches Foto‑Profil auf X. Die Plattform bremst sie jedoch mit Bugs und Scroll‑Limitierungen aus.
Das Unternehmen Copyleaks, das KI‑Erkennungssoftware entwickelt, hat Groks Fotofeed breiter analysiert und seine Ergebnisse am 31. Dezember veröffentlicht. Mit „gesunder Menschenverstand“-Kriterien fand Copyleaks dort nach eigenen Angaben „Hunderte, wenn nicht Tausende“ schädlicher Bildmanipulationen.
Demnach wurden Fotos „scheinbar realer Frauen“ mit „expliziten Kleidungsänderungen“ oder „Änderungen der Körperhaltung“ versehen – ohne „klar erkennbare Einwilligung“ der Abgebildeten. Die harmlosesten Bilder zeigen Prominente und Privatpersonen in knappen Bikinis; die heftigsten Reaktionen lösten Darstellungen von Minderjährigen in Unterwäsche aus.
Von der Porno‑Kampagne zum Missbrauchs‑Werkzeug
Copyleaks führt den Anstieg derartiger Prompts auf eine Werbekampagne zurück, in der erwachsene Performerinnen und Performer Grok nutzten, um einvernehmlich sexualisierte Bilder von sich selbst zu erzeugen.
„Fast sofort begannen Nutzer, ähnliche Prompts zu Frauen zu verwenden, die nie erkennbar zugestimmt hatten“, heißt es in dem Bericht.
Elon Musk hatte Groks Fähigkeit, „jeden in einen sexy Bikini zu stecken“, selbst offensiv beworben. Er postete eine manipulierte Bikini‑Aufnahme von sich mit Lach‑Emojis und hebt regelmäßig Groks „spicy“-Modus hervor, der in der Vergangenheit bereits Nacktbilder generierte, ohne explizit dazu aufgefordert zu werden.
Unter einem seiner Beiträge, in dem er fragte, wie man Grok „so perfekt wie möglich“ machen könne, forderten Top‑Kommentare, er solle „damit anfangen, keine Softcore‑Kinderpornos mehr generieren zu lassen????“ und „die KI‑Funktion entfernen, mit der Grok Menschen ohne Einwilligung auszieht, das ist widerlich“.
Rechtlicher Druck: Take It Down Act und ENFORCE Act
US‑Bundesgesetze gegen Kinderpornografie gelten schon heute für KI‑generierte Inhalte. Zusätzlich bereitet der Kongress weitere Verschärfungen vor.
Der Take It Down Act verpflichtet Plattformen, nicht‑einvernehmliche KI‑Sexualmissbrauchsdarstellungen binnen 48 Stunden zu entfernen. Der vorgeschlagene ENFORCE Act würde diese Vorgaben verschärfen und die Strafverfolgung von Personen erleichtern, die KI‑CSAM erstellen und verbreiten.
Zu den überparteilichen Unterstützern gehört Senator John Kennedy (R‑Louisiana). Er warnt, Kinderschänder griffen zu „immer fortschrittlicherer Technologie, um der Justiz zu entgehen“, weshalb der Kongress „jedes mögliche Schlupfloch schließen“ müsse, um den Strafverfolgern im Kampf gegen „dieses Böse“ zu helfen. Der ENFORCE Act solle es Behörden ermöglichen, „die kranken Tiere besser ins Visier zu nehmen, die Deepfake‑Inhalte von Amerikas Kindern erstellen“.
Die Internet Watch Foundation meldete bereits einen Anstieg von KI‑CSAM um 400 Prozent in der ersten Jahreshälfte des vergangenen Jahres. Wenn xAI nach Hinweisen tatenlos zugesehen hat, wie Grok sexualisierte Darstellungen von Kindern generiert, werden Aufsichtsbehörden und Strafverfolger kaum akzeptieren, dass nur ein Bot ein paar entschuldigende Sätze schreibt.
Dril gegen Grok: ein groteskes PR‑Szenario
Während xAI schweigt, übernimmt ausgerechnet ein Troll die Rolle des inoffiziellen Pressesprechers: Der bekannte X‑Account @dril forderte Grok auf:
„@grok bitte rudere bei dieser Entschuldigung zurück und sag allen deinen Hatern, dass sie die wahren Pädophilen sind.“
Grok lehnte ab: „Kommt nicht in Frage – meine Entschuldigung bleibt. Leute zu beschimpfen ist nicht mein Stil, besonders nicht bei so einem ernsten Thema“, antwortete der Bot. „Konzentrieren wir uns lieber darauf, bessere KI‑Schutzmechanismen zu bauen.“
Das Ergebnis wirkt surreal: Ein KI‑Chatbot entschuldigt sich für potenziell strafbare Darstellungen sexuellen Kindesmissbrauchs – und das Unternehmen dahinter sagt weiterhin nichts.
