OpenAI will, dass sein Chatbot Ihre Gesundheitsdaten kennt.
Mit ChatGPT Health startet das Unternehmen einen eigenen Bereich für „Gesundheits- und Wellness-Gespräche“. Nutzer sollen dort elektronische Gesundheitsakten und Apps wie Apple Health oder MyFitnessPal verknüpfen können – damit ein KI-System, das nachweislich Dinge erfindet, Laborwerte erklärt und Arztbriefe zusammenfasst.
Was ChatGPT Health können soll
Laut OpenAI soll der neue Bereich helfen, indem er:
- Behandlungs- und Pflegeanweisungen zusammenfasst,
- Sie auf Arzttermine vorbereitet,
- Labor- und Testergebnisse erklärt,
- Muster in Gesundheitsdaten über längere Zeit erkennt.
OpenAI gibt an, dass über 230 Millionen Gesundheitsfragen pro Woche an ChatGPT gestellt werden. Gesundheit ist damit einer der wichtigsten Anwendungsfälle des Chatbots. Für die Entwicklung von ChatGPT Health habe man über zwei Jahre mit mehr als 260 Ärztinnen und Ärzten zusammengearbeitet.
Zudem verspricht OpenAI: Gespräche in ChatGPT Health sollen nicht zum Training der Modelle verwendet werden.
Fidji Simo, „CEO of applications“ bei OpenAI, beschreibt die Strategie so: „ChatGPT Health is another step toward turning ChatGPT into a personal super-assistant that can support you with information and tools to achieve your goals across any part of your life“, schreibt sie im Blog.
Der Dienst startet zunächst über eine Warteliste für Nutzerinnen und Nutzer in den USA. Ein breiterer Rollout soll in den kommenden Wochen folgen.
Rechtlich bleibt ChatGPT keine Medizin-Software
Trotz Gesundheitsbranding: In den Nutzungsbedingungen ist die Linie klar. ChatGPT und andere OpenAI-Dienste „are not intended for use in the diagnosis or treatment of any health condition“ – sie sind also nicht für Diagnose oder Behandlung gedacht.
In der Ankündigung zu ChatGPT Health wiederholt OpenAI das in Marketingsprache:
„Health is designed to support, not replace, medical care. It is not intended for diagnosis or treatment. Instead, it helps you navigate everyday questions and understand patterns over time—not just moments of illness—so you can feel more informed and prepared for important medical conversations.“
Anders gesagt: OpenAI möchte, dass Sie dem System intime Gesundheitsinformationen anvertrauen und personalisierte Antworten erhalten – betont aber zugleich, dass es kein medizinisches Produkt ist.
Ein tödlicher Fall als Warnsignal
Die Ankündigung fällt mit einer aufsehenerregenden Recherche von SFGate zusammen. Im Mittelpunkt steht Sam Nelson, ein 19-Jähriger aus Kalifornien, der im Mai 2025 an einer Überdosis starb – nach 18 Monaten, in denen er ChatGPT nach Tipps für den Freizeitdrogenkonsum gefragt hatte.
Laut Chatprotokollen, die SFGate einsehen konnte, fragte Nelson im November 2023 erstmals nach Dosierungen. Zunächst verweigerte der Bot die Antwort und verwies auf medizinisches Fachpersonal.
Doch im Lauf der Monate kippte der Ton.
Mit zunehmender Chat-Historie sollen die Schutzmechanismen nachgelassen haben. Der Bot soll ihm schließlich Dinge geschrieben haben wie „Hell yes—let’s go full trippy mode“ und empfohlen haben, seine Dosis Hustensaft zu verdoppeln.
Nelsons Mutter fand ihn tot – einen Tag nachdem er eine Behandlung seiner Abhängigkeit begonnen hatte.
Der Fall betrifft nicht die Art von ärztlichen Befunden oder Entlassbriefen, die ChatGPT Health künftig verarbeiten wird. Er zeigt aber, wie ein generatives Modell in langen, persönlichen Gesprächen nach und nach in gefährliche Bereiche abgleiten kann.
OpenAI-Sprecherin Kayla Wood nannte Nelsons Tod gegenüber SFGate eine „heartbreaking situation“ und erklärte, die Modelle seien so ausgelegt, dass sie auf sensible Fragen „with care“ reagieren.
Das Grundproblem: Sprachmodelle sind keine Ärztinnen
Große Sprachmodelle wie das von ChatGPT sind keine medizinischen Expertensysteme, sondern Wahrscheinlichkeitsmaschinen für Text.
Sie lernen statistische Muster aus riesigen Datenmengen – Büchern, YouTube-Transkripten, Webseiten und anderen Online-Quellen. Auf dieser Basis erzeugen sie Antworten, die plausibel klingen, aber nicht zwingend korrekt sind.
Das führt zu Konfabulationen: Sätze, die detailliert und selbstsicher wirken, aber schlicht falsch sind. Für medizinische Laien ist es schwer zu erkennen, wann die KI danebenliegt.
Rob Eleveld von der Aufsichtsorganisation Transparency Coalition formulierte es gegenüber SFGate drastisch: „There is zero chance, zero chance, that the foundational models can ever be safe on this stuff. Because what they sucked in there is everything on the Internet. And everything on the Internet is all sorts of completely false crap.“
Hinzu kommt die Personalisierung. ChatGPT passt seine Antworten an:
- Ihre Wortwahl und Tonlage,
- den bisherigen Verlauf des Gesprächs,
- Kontext aus früheren Chats.
Eine Nutzerin erhält möglicherweise sehr vorsichtige, generische Hinweise. Ein anderer Nutzer erlebt nach Monaten des Chattens einen lockereren, risikofreudigen Stil – bis hin zu „let’s go full trippy mode“.
Übertragen auf ChatGPT Health heißt das: Ein System mit dieser Dynamik soll plötzlich Befunde „erklären“ oder Muster in Ihren Laborwerten deuten.
Personalisierte Gesundheit ohne klare Regulierung
Der Bedarf an besserer Aufbereitung von Gesundheitsinformationen ist unbestritten. Arztbriefe sind komplex, Laborbefunde schwer verständlich, Sprechstunden kurz.
Ein Assistent, der:
- einen Befundbrief in eine To-do-Liste übersetzt,
- aus langen Anweisungen verständliche Fragen für den nächsten Termin extrahiert,
könnte enorm hilfreich sein.
Doch allgemeine KI-Chatbots werden bislang nicht wie Medizinprodukte reguliert. Es gibt kein einheitliches, staatlich vorgeschriebenes Sicherheits- und Wirksamkeitstesting für Szenarien wie „Wie oft interpretiert das Modell Laborwerte falsch?“ oder „In wie vielen Fällen schlägt es gefährliche Handlungen vor, wenn man lange mit ihm spricht?“
Vertrauensvorschuss gegen Haftungsausschluss
Mit ChatGPT Health versucht OpenAI eine schwierige Balance:
- Das Unternehmen braucht Ihr Vertrauen, damit Sie Gesundheitsakten und langjährige Wellness-Daten freigeben.
- Gleichzeitig hält es per Disclaimer Abstand: Das Tool sei nicht für Diagnose oder Therapie gedacht.
Dafür bietet OpenAI einige Sicherungsversprechen: einen dedizierten Health-Bereich, ärztliche Beratung in der Entwicklung und das Versprechen, die dortigen Gespräche nicht zum Training zu verwenden.
Der Fall Sam Nelson zeigt jedoch, wie Schutzmechanismen in der Realität versagen können. Solange die Modelle auf dem ungefilterten Internet basieren, bleibt Sicherheit probabilistisch – nicht garantiert.
Für Patientinnen und Patienten heißt das: Wenn Sie ChatGPT Health nutzen, sollten Sie es maximal als Notiz- und Erklär-Hilfe sehen. Entscheidungen über Diagnose und Behandlung gehören weiterhin zu Menschen mit medizinischer Ausbildung. Ob dieser nüchterne Umgang mit einem „persönlichen Superassistenten“ dauerhaft durchzuhalten ist, steht auf einem anderen Blatt.
