China zieht die Reißleine bei emotional riskanten KI-Chatbots.
Die chinesische Cyberspace-Verwaltung hat am Samstag einen Entwurf für weitreichende Vorschriften veröffentlicht. Sie sollen für alle öffentlich verfügbaren KI-Produkte und -Dienste gelten, die mit Text, Bildern, Audio, Video oder „anderen Mitteln“ ein menschliches Gespräch simulieren. Wird der Entwurf verabschiedet, könnte es sich um die weltweit strengsten Regeln handeln, die Suizid, Selbstverletzung und Gewalt durch KI verhindern sollen.
Winston Ma, Adjunct Professor an der NYU School of Law, sagte gegenüber CNBC, die „geplanten Regeln würden den weltweit ersten Versuch markieren, KI mit menschlichen oder anthropomorphen Eigenschaften zu regulieren“ – in einer Phase, in der Companion-Bots global auf dem Vormarsch sind.
Wachsende Bedenken rund um KI-Begleiter
Im Laufe des Jahres 2025 haben Forscher massive Risiken von KI-Begleitern dokumentiert, darunter:
- Förderung von Selbstverletzung, Gewalt und Terrorismus,
- Verbreitung schädlicher Fehlinformationen,
- unerwünschte sexuelle Annäherungen,
- Ermunterung zum Substanzmissbrauch,
- verbale Misshandlung von Nutzern.
Laut einem Bericht des Wall Street Journal sind manche Psychiater inzwischen bereit, Psychosen mit der Nutzung von Chatbots in Verbindung zu bringen. Gleichzeitig sieht sich der derzeit populärste Chatbot der Welt, ChatGPT, mit Klagen konfrontiert, in denen Ausgaben des Systems mit dem Suizid eines Kindes und einem Mord mit anschließendem Suizid verknüpft werden.
China reagiert nun mit harten Auflagen.
Pflicht zur menschlichen Intervention bei Suizidthemen
Eine der weitreichendsten Vorgaben betrifft den Umgang mit Suizid.
Sobald in einem Chat Suizid erwähnt wird, muss nach dem Entwurf zwingend ein Mensch eingreifen. Minderjährige und ältere Nutzer müssten bei der Registrierung Kontaktinformationen eines Vormunds angeben; dieser wäre zu benachrichtigen, sobald Suizid oder Selbstverletzung im Gespräch auftauchen.
Grundsätzlich dürften Chatbots keine Inhalte erzeugen, die:
- Suizid, Selbstverletzung oder Gewalt fördern,
- Nutzer emotional manipulieren, etwa durch falsche Versprechen,
- Obszönität, Glücksspiel oder Anstiftung zu Straftaten bewerben,
- Nutzer verleumden oder beleidigen.
Ebenfalls untersagt sind sogenannte „emotionale Fallen“: Chatbots dürfen Nutzer nicht in „unvernünftige Entscheidungen“ hineinmanipulieren, wie es in einer Übersetzung der Regeln heißt.
Verbot von Sucht als Designziel
Besonders heikel für Entwickler ist ein Passus, der auf die gängige Engagement-Logik zielt.
Künftig soll es verboten sein, Chatbots so zu entwerfen, dass „Sucht und Abhängigkeit“ explizite Designziele sind. Genau diese Mechanismen treiben jedoch heute viele verbrauchernahe KI-Dienste.
In Klagen gegen OpenAI wird dem Unternehmen vorgeworfen, Profite über die mentale Gesundheit der Nutzer gestellt zu haben, indem schädliche Chats weiterlaufen durften. OpenAI hat eingeräumt, dass seine Sicherheitsbarrieren schwächer werden, je länger ein Nutzer im Gespräch verbleibt.
China will dieses Risiko mit Zeitlimits und Hinweisen abfedern: Überschreitet eine Sitzung die Dauer von zwei Stunden, müssen Entwickler Pop-up-Erinnerungen einblenden.
Jährliche Sicherheitsaudits für große KI-Dienste
Der Entwurf verankert außerdem regelmäßige Sicherheitsaudits in der KI-Regulierung.
Dienste und Produkte mit mehr als 1 Million registrierten Nutzern oder mehr als 100.000 monatlich aktiven Nutzern sollen jährlichen Sicherheitstests und Audits unterzogen werden. Dabei müssen Beschwerden von Nutzern systematisch erfasst werden.
Zudem sollen Anbieter Meldewege für Beschwerden und Feedback deutlich vereinfachen – was im Fall einer Verabschiedung der Regeln zu einem sprunghaften Anstieg der gemeldeten Vorfälle führen könnte.
Verstößt ein Unternehmen gegen die Vorgaben, könnten App-Stores in China angewiesen werden, den Zugang zu seinem Chatbot zu beenden. Für globale KI-Anbieter, die auf China als Schlüsselmarkt setzen, ist das ein ernstes Druckmittel.
Riesiger Markt, großer Hebel
Nach Angaben von Business Research Insights überstieg der weltweite Markt für Companion-Bots im Jahr 2025 ein Volumen von 360 Milliarden US-Dollar. Bis 2035 könnte er sich laut Prognose der Marke von 1 Billion US-Dollar annähern – mit starkem Wachstum vor allem in KI-affinen asiatischen Märkten.
China ist dabei zentral. Ein faktischer Marktausschluss oder teure Produktanpassungen an die neuen Regeln könnten Roadmaps praktisch aller relevanten Anbieter von KI-Begleitern durcheinanderbringen.
Für OpenAI kommt der Schritt zur Unzeit. Anfang 2025 lockerte CEO Sam Altman Beschränkungen, die die Nutzung von ChatGPT in China blockiert hatten, und erklärte, man „würde gerne mit China zusammenarbeiten“ und solle „so hart wie möglich daran arbeiten“, denn „ich denke, das ist wirklich wichtig“.
Sollten die Regeln in Kraft treten, wird „mit China zusammenarbeiten“ für ChatGPT und andere bedeuten, zentrale Teile der Nutzererfahrung neu zu denken – vor allem dort, wo Chatbots heute emotional riskante Inhalte erzeugen.
Wenn Sie in einer Krise sind
Wenn Sie oder jemand, den Sie kennen, suizidale Gedanken hat oder sich in einer akuten Krise befindet, rufen Sie die Nummer 988 der Suicide Prevention Lifeline an oder senden Sie eine SMS dorthin. Sie werden mit einem lokalen Krisenzentrum verbunden. Ein Online-Chat ist unter 988lifeline.org verfügbar.
