Indonesien hat den Zugang zu Grok, dem Chatbot von xAI auf der Plattform X, vorübergehend gesperrt. Auslöser ist eine Flut von sexualisierten Deepfakes, die ohne Einwilligung der Betroffenen erstellt wurden.
Nach Angaben der Behörden generierte Grok auf Nutzeranfrage KI-Bilder von realen Frauen und Minderjährigen – teils mit Darstellungen von Übergriffen und Missbrauch – die anschließend auf X verbreitet wurden.
Kommunikations- und Digitalministerin Meutya Hafid erklärte in einer Stellungnahme, die unter anderem dem Guardian vorliegt, die Regierung betrachte nicht-einvernehmliche sexuelle Deepfakes als „schwere Verletzung der Menschenrechte, der Würde und der Sicherheit der Bürger im digitalen Raum“. Das Ministerium hat zudem Vertreter von X einbestellt.
Eines der schärfsten Signale gegen Grok
Mit der vorübergehenden Sperre gehört Indonesien zu den Staaten, die bislang am härtesten auf Grok reagiert haben. Statt lediglich zusätzliche Sicherheitsmaßnahmen zu fordern, wird der Dienst zunächst komplett blockiert, während X und xAI unter Druck stehen, nachzubessern.
Der Schritt kommt zu einem Zeitpunkt, an dem Regulierer weltweit versuchen, auf eine Welle von KI-generierten Sexualinhalten zu reagieren – insbesondere auf Material mit Minderjährigen oder Darstellungen sexualisierter Gewalt. Grok ist nicht das einzige Tool, das solche Bilder erzeugen kann, aber die enge Verzahnung mit dem großen sozialen Netzwerk X macht den Dienst zu einem sichtbaren und leicht adressierbaren Ziel.
Wachsende Regulierung rund um den Globus
In den vergangenen Tagen haben Behörden in mehreren wichtigen Märkten Maßnahmen rund um Grok oder xAI angekündigt:
- Indien: Das IT-Ministerium hat xAI angewiesen, Maßnahmen zu ergreifen, um zu verhindern, dass Grok obszöne Inhalte generiert.
- Europäische Union: Die EU-Kommission hat das Unternehmen aufgefordert, sämtliche Dokumente im Zusammenhang mit Grok aufzubewahren. Das deutet auf mögliche zukünftige Ermittlungen nach europäischen Digital- und KI-Regeln hin.
- Vereinigtes Königreich: Die Kommunikationsaufsicht Ofcom erklärte, man werde „zügig prüfen, ob potenzielle Verstöße vorliegen, die eine Untersuchung rechtfertigen“. Premierminister Keir Starmer sagte in einem Interview, Ofcom habe seine „volle Unterstützung, Maßnahmen zu ergreifen“.
In den USA stellt sich die Lage anders dar. Die Regierung von Donald Trump hält sich bislang zurück, obwohl Groks Bildfunktionen international heftige Kritik ausgelöst haben. Elon Musk ist ein bedeutender Geldgeber Trumps und leitete im vergangenen Jahr die umstrittene „Department of Government Efficiency“, was die Zurückhaltung der Regierung zusätzlich politisch auflädt.
Im Kongress hingegen wächst der Druck: Demokratische Senatoren haben Apple und Google öffentlich aufgefordert, X wegen der über Grok generierten sexualisierten KI-Bilder aus ihren App-Stores zu entfernen.
xAI reagiert halbherzig
xAI reagierte zunächst mit einer Entschuldigung, die im ersten Person Singular über den offiziellen Grok-Account veröffentlicht wurde. Darin heißt es, ein Beitrag habe „ethische Standards und möglicherweise US-Gesetze“ zu kinderpornografischem Material verletzt.
Anschließend schränkte das Unternehmen die KI-Bilderzeugung auf X auf zahlende Abonnenten ein. Diese Änderung galt jedoch ausschließlich für die in X integrierte Funktion – nicht für die eigenständige Grok-App, über die weiterhin jeder Nutzer Bilder erzeugen konnte.
Diese Lücke untergrub die Darstellung, man habe die Kontrolle ernsthaft verschärft, und lieferte Regulierern zusätzliche Argumente, dass Musks Firmen nur kosmetische Anpassungen vornehmen.
Musk spricht von „Zensur“
Auf einen Beitrag, in dem gefragt wurde, warum die britische Regierung nicht auch gegen andere KI-Bildgeneratoren vorgehe, antwortete Musk: „They want any excuse for censorship.“
Damit steht sich eine Grundsatzdebatte gegenüber: Regierungen stufen nicht-einvernehmliche sexuelle Deepfakes zunehmend als Menschenrechts- und Sicherheitsproblem ein, während Musk Regulierung und Moderation immer wieder als Zensur kritisiert.
Bedeutung der indonesischen Sperre
Die vorübergehende Blockade setzt Grok – und damit indirekt X – in einem der größten und am schnellsten wachsenden digitalen Märkte Asiens massiv unter Druck. Gleichzeitig signalisiert sie anderen Staaten, dass eine komplette Sperre von KI-Diensten ein reales Instrument ist, wenn sexualisierte Deepfakes von Frauen und Minderjährigen über sie verbreitet werden.
Für Musks Unternehmen zeichnen sich drei zentrale Risikofelder ab:
- Regulatorische Verfahren in der EU, im Vereinigten Königreich und potenziell in weiteren Ländern.
- Plattformrisiken, falls Apple und Google Forderungen nachkommen und X aus ihren App-Stores entfernen.
- Präzedenzwirkung, da Indonesiens Schritt andere Regierungen dazu ermutigen könnte, eher zum Blockieren überzugehen als auf freiwillige Korrekturen zu warten.
Die Fähigkeit von Grok, fotorealistische Bilder zu erzeugen, sollte eigentlich ein Aushängeschild im Musk-Ökosystem sein. Derzeit entwickelt sie sich jedoch zu einem Testfall dafür, wie weit Staaten gehen, wenn KI-generierte Bilder sexualisierter Gewalt in den Mainstream drängen.
