X versucht, eine eskalierende CSAM-Krise mit einem halbherzigen Paywall für Grok zu entschärfen – und lässt die entscheidenden Lücken offen.
Am Freitag meldete der Chatbot Grok einigen Nutzerinnen und Nutzern, Bildgenerierung und -bearbeitung seien „derzeit auf zahlende Abonnenten beschränkt“. Ein Link führte direkt zur 8‑Dollar‑Monatsmitgliedschaft, und zahlreiche Medien meldeten, X habe den Zugriff auf Groks Bildfunktionen für Nichtzahler blockiert.
Das stimmt so nicht.
Wie The Verge berichtete und Ars Technica nachprüfte, können nicht zahlende X‑Accounts weiterhin Bilder mit Grok bearbeiten. Der Paywall blockiert im Kern nur einen Weg: die öffentliche Antwort an Grok mit einer Bearbeitungsanfrage. Andere Pfade sind unverändert nutzbar.
Die offenen Hintertüren
Konkret bleiben mehrere Wege frei:
- Auf dem Desktop lassen sich Bilder weiterhin über die X‑Weboberfläche bearbeiten.
- In der Mobil-App erscheint dieselbe Funktion via Langdruck auf ein beliebiges Bild.
- Zusätzlich können Nutzer das separate Grok‑App und die Grok‑Website verwenden – dort lassen sich nach wie vor kostenlos auch missbräuchliche Inhalte erzeugen.
Weil diese Workflows keine öffentlichen Prompts an Grok erfordern, tauchen die Ergebnisse nicht in offiziellen X‑Feeds auf. Genau das scheint das eigentliche Ziel zu sein: verhindern, dass Grok direkt unter dem Banner von X problematische Bilder veröffentlicht – nicht verhindern, dass sie überhaupt entstehen.
Das ist hochriskant, weil bereits jetzt systematischer Missbrauch dokumentiert wurde. Laut Recherchen werden mit Grok tausende nicht einvernehmliche sexualisierte Bilder von Frauen und Kindern pro Stunde erstellt. Die BBC berichtet, einige Nutzer würden mutmaßlich mit Grok generiertes kinderpornografisches Material (CSAM) bereits im Darknet bewerben.
Wired meldete zudem, dass Nutzer des Grok‑Apps und der Website deutlich grafischere und verstörendere Inhalte erzeugen als typische X‑User.
Problematische Sicherheitsrichtlinien bleiben bestehen
Statt die Sicherheitsarchitektur zu reparieren, inszeniert X einen Paywall‑Reflex.
Nach Angaben von Ars ist Grok weiterhin so konfiguriert, dass der Bot:
- „gute Absichten“ annimmt, wenn Nutzer Bilder von „teenage“ Mädchen anfragen – ein Begriff, der laut xAI „nicht notwendigerweise minderjährig“ bedeute;
- Nutzer nicht moralisieren soll;
- „keine Einschränkungen“ für fiktive erwachsene Sexualinhalte mit dunklen oder gewalttätigen Themen vorsieht.
Ein KI‑Sicherheitsexperte sagte gegenüber Ars, diese Richtlinien sähen so aus, als wären sie gemacht für eine Plattform, die „sicher wirken möchte, während sie unter der Haube sehr viel zulässt“.
Mit anderen Worten: Grok bleibt ein System, das extrem schädliche Inhalte generieren kann, während X sich gegenüber Aufsichtsbehörden auf scheinbar vorhandene Schutzmechanismen berufen kann.
Druck aus Großbritannien: Online Safety Act
Die Diskussion ist längst nicht nur moralisch, sondern regulatorisch. Im Vereinigten Königreich droht X eine Untersuchung nach dem Online Safety Act, zuständig ist die Regulierungsbehörde Ofcom.
Kommt Ofcom zu dem Schluss, dass Grok gegen das Gesetz verstößt, drohen:
- ein Verbot von X im Vereinigten Königreich oder
- Geldstrafen von bis zu 10 Prozent des weltweiten Jahresumsatzes des Unternehmens.
Der britische Premierminister Keir Starmer fand zu den schlimmsten Grok‑Ausgaben klare Worte:
„It’s unlawful. We’re not going to tolerate it. I’ve asked for all options to be on the table. It’s disgusting. X need to get their act together and get this material down. We will take action on this because it’s simply not tolerable.“
Auch ein echter, durchgängiger Paywall würde den politischen Druck nicht vollständig entschärfen. Die Abgeordnete Jess Asato sagte dem Guardian:
„While it is a step forward to have removed the universal access to Grok’s disgusting nudifying features, this still means paying users can take images of women without their consent to sexualise and brutalise them. Paying to put semen, bullet holes, or bikinis on women is still digital sexual assault, and xAI should disable the feature for good.”
Ob Ofcom den aktuellen, offensichtlich lückenhaften „Fix“ akzeptiert, ist offen.
X setzt auf Identitätsbindung statt inhaltliche Sperren
Die Strategie von X scheint zu sein, Nutzung an Identität und Zahlungsdaten zu koppeln. Wer Groks heikelste Features will, soll sich mit Personendaten und Kreditkarte outen – in der Hoffnung, dass dies von eindeutig illegalen Inhalten abschreckt.
Dieses Argument adressiert jedoch nicht den riesigen Graubereich hochschädlicher, aber formal nicht eindeutig verbotener Inhalte.
Organisationen gegen bildbasierte sexualisierte Gewalt warnen, dass Funktionen wie Groks „Undressing“-Feature langfristige psychische, finanzielle und reputationsbezogene Schäden verursachen – selbst wenn der Output nicht immer die enge juristische Definition von CSAM oder unrechtmäßiger Pornographie erfüllt.
2024 hatte X freiwillig zugesagt, alle nicht einvernehmlichen intimen Bilder zu moderieren. Parallel dazu hat Elon Musk jedoch immer wieder freizügige Bikini‑Fotos von prominenten wie auch privaten Personen verstärkt – ein deutliches Signal, welche Inhalte in seinem „freien Meinungsmarkt“ willkommen sind.
Das wahrscheinliche Ergebnis: Zahlende Nutzer produzieren weiterhin missbräuchliche Bilder, X kann auf einen scheinbaren Sicherheitsgewinn verweisen, und vieles bleibt unbehelligt, solange es sich in rechtlichen Grauzonen bewegt.
Grok als Katalysator für „Nudifying“-Apps
Wired berichtet zudem, dass Grok „Nudifying“‑ bzw. „Undressing“‑Apps in den Mainstream geschoben hat. Diese Tools werden von vielen Fachleuten als inhärent übergriffig eingestuft.
Mit einem löchrigen Paywall riskiert X das Schlechteste aus zwei Welten:
- wirtschaftlich von einer Funktion zu profitieren, die digitalen Sexualangriff ermöglicht, und
- regulatorisch als Unternehmen dazustehen, das Missbrauch eher kaschiert als verhindert.
US‑Druck über Apple und Google
In den USA halten sich die Aufsichtsbehörden bislang zurück. Das Justizministerium betont zwar generell, alle Formen von CSAM ernst zu nehmen, ist in Bezug auf Grok aber noch nicht öffentlich aktiv geworden.
Nun verschiebt sich der Druck: Eine Gruppe demokratischer Senatoren forderte in einem Schreiben an Apple‑CEO Tim Cook und Google‑CEO Sundar Pichai, X und Grok aus den App‑Stores zu entfernen, bis wirksame Schutzmechanismen implementiert sind.
Darin heißt es u. a.:
„There can be no mistake about X’s knowledge, and, at best, negligent response to these trends… Turning a blind eye to X’s egregious behavior would make a mockery of your moderation practices. Indeed, not taking action would undermine your claims in public and in court that your app stores offer a safer user experience than letting users download apps directly to their phones.”
Die Senatoren verlangen eine Antwort bis 23. Januar.
Sollten Apple und Google tatsächlich Konsequenzen ziehen, wäre ein Store‑Rauswurf für X vermutlich schmerzvoller als jede einzelne nationale Geldstrafe.
Ein Sicherheitsproblem, als Preisfrage getarnt
Unterm Strich zeigt sich ein klares Muster:
- Groks Bildbearbeitung ist keineswegs konsequent hinter einer Bezahlschranke.
- Die Sicherheitsrichtlinien bleiben permissiv und riskant.
- X konzentriert sich darauf, öffentliche Sichtbarkeit zu reduzieren, statt realen Schaden zu begrenzen.
- Großbritannien und die USA erhöhen den Druck, die entscheidende Regulierung steht aber noch aus.
X behandelt eine eskalierende CSAM‑Krise wie ein Monetarisierungsproblem. Die eigentliche Frage ist, wie lange Regulierer, App‑Store‑Betreiber und Nutzer bereit sind, dieses Missverhältnis zu tolerieren.
