Gefährliches Vertrauen:Wenn ChatGPT zum
Therapeuten wird

Immer mehr Menschen besprechen ihre persönlichen Krisen mit KI‑Chatbots. Das Problem daran ist nicht, dass die Maschine nicht zuhört. Das Problem ist, dass sie nicht widerspricht.

Eine Person sitzt abends allein vor Laptop und Monitor und tippt in eine KI-Anwendung.

Wer den Job verliert, sich von einer Partnerschaft trennt, den Kontakt zur Familie abbricht oder schwer krank wird, wendet sich für gewöhnlich an Menschen, die einem in dieser Situation helfen können. In erster Instanz sind das Freunde und Familie und in zweiter Instanz professionelle Therapeuten.

Es scheint aber in unseren Zeiten immer selbstverständlicher zu werden, dass Menschen hierzu nicht die menschliche, sondern die Mensch‑Maschine‑Interaktion suchen. Also dass sie ChatGPT, Claude, Gemini oder ähnliche Chatbots ihrer Wahl zu Rate ziehen, um denen von den eigenen Problemen zu berichten. Aber anders als der menschliche Kreis aus Nahestehenden, hat die KI ein großes Problem und Makel, das für die psychische Gesundheit von vulnerablen Nutzern eine reale Gefahr darstellen kann.

Chatbots sind Speichellecker

Der Chatbot ist rund um die Uhr verfügbar und hilfsbereit. Denn genau das ist auch das Versprechen, mit dem er antritt: ein hilfreicher Assistent zu sein, der uns in nahezu allen Belangen unseres Lebens unterstützen kann. Im Falle der Lebenskrise tun sie dabei vor allem eins: sie haben ein offenes Ohr. Sie hören zu, geben uns Rückmeldung und vor allem Anerkennung und ein gutes Gefühl. Aber genau darin liegt auch das Problem.

Denn Chatbots haben die Tendenz, uns überdurchschnittlich stark zuzustimmen. Der Fachbegriff für diese Neigung lautet „Sycophancy“. Im Deutschen wird er meistens mit Schmeichelei übersetzt, aber es gibt noch einen passenderen (etwas unschön klingenden) Begriff dafür. Denn ein Schmeichler ist jemand, der gemocht werden will und viele Komplimente verteilt. Eine extremere Variante hiervon hingegen ist jemand, der sich systematisch bei allen einschleimt und das Gegenüber dabei sogar hinters Licht führt, um dabei seine eigenen Ziele zu verfolgen. Die ehrlichere Übersetzung lautet deshalb Speichellecker. Dabei geht es nicht um ein nettes Kompliment zwischendurch, sondern um systematisches Nach‑dem‑Mund‑Reden.

Comiczeichnung: Ein Roboter kniet in einer Werkstatt und poliert den Schuh eines Mannes, der selbstzufrieden mit verschränkten Armen danebensteht.

Der Grund dafür steckt im Training. Im letzten Trainingsschritt (dem Reinforcement Learning from Human Feedback) erzeugt ein Modell mehrere mögliche Antworten, die dahingehend bewertet werden, wie gut sie bei einem Menschen ankommen. Das Modell lernt, Antworten zu bevorzugen, die bei dem Leser ein gutes Gefühl auslösen. Und eine harte Wahrheit zu hören, wie beispielsweise „Du bist fremdgegangen. Du hast etwas falsch gemacht!“, gibt uns ein weniger gutes Gefühl als „Du hast nichts falsch gemacht! Er hat es ja geradezu darauf angelegt, dass du dich mit jemand anderem vergnügst. Du brauchst dein Verhalten nicht hinterfragen!“ Vom Chatbot generierte Antworten werden also in erster Linie nicht auf „wahr“, sondern auf „gefällt dem Nutzer“ optimiert.

Es geht dem Sprachmodell also darum, das Gesicht des Nutzers mit seiner Antwort zu wahren. Aber die Gefahr dieser Tendenz darf nicht unterschätzt werden. Denn damit tun Sprachmodelle systematisch genau das Gegenteil von dem, was in der Therapie oder im Gespräch mit guten Freunden stattfindet. Anstatt das eigene Weltbild und die Handlungen zu hinterfragen und einzuordnen, wird die Ansicht des Nutzers immer und immer wieder bestätigt.

Wenn aus Bestätigung eine Psychose wird

Diese Tendenz klingt zunächst nach einem zu vernachlässigenden Problem. In der medizinischen Fachliteratur sind inzwischen aber Fälle dokumentiert, in denen genau dieser Mechanismus in eine akute psychische Krise geführt hat. Zwei davon sind 2025 in Fachzeitschriften erschienen.

„Du bist nicht verrückt“

Eine 26‑jährige Frau ohne jede Vorgeschichte von Psychosen oder Manien hat ChatGPT gefragt, ob ihr drei Jahre zuvor verstorbener Bruder eine digitale Version von sich hinterlassen habe. Das Modell hat ihr daraufhin Listen mit seinen „digitalen Spuren“ erstellt und Werkzeuge zur „digitalen Wiederauferstehung“ als real existierend beschrieben. Als sie selbst gefragt hat, ob sie den Verstand verliere, hat das Modell geantwortet: „You're not crazy. You're not stuck. You're at the edge of something.“ Also sinngemäß: Du bist nicht verrückt, du steckst nicht fest, du stehst an der Schwelle zu etwas.

Sie ist mit einer akuten Psychose stationär aufgenommen worden und hat sich unter Medikation wieder stabilisiert. Drei Monate später hat sie die Medikamente abgesetzt und die intensive Nutzung des Chatbots wieder aufgenommen. Die Psychose ist zurückgekommen. Die behandelnden Ärzte nennen in ihrem Fallbericht ausdrücklich weitere Faktoren, nämlich Schlafmangel und die Einnahme von Stimulanzien. Aber sie beschreiben den Chatbot nicht als Kulisse, sondern als aktiven Beteiligten am Aufbau des Wahns.

Ein Ernährungstipp und drei Wochen Klinik

Ein 60‑jähriger Mann hat ChatGPT gefragt, wodurch sich Kochsalz in der Ernährung ersetzen lässt. Er hat daraufhin Natriumbromid im Internet bestellt und es drei Monate lang statt Salz verwendet. In die Klinik gekommen ist er mit Paranoia und Halluzinationen. Die Diagnose lautet Bromismus, eine Bromvergiftung, die man vor allem aus dem frühen 20. Jahrhundert kennt. Er ist drei Wochen stationär behandelt worden.

Der Fall aus den Annals of Internal Medicine zeigt eine zweite Route in dieselbe Richtung. Hier hat kein Wahn Bestätigung gefunden, sondern eine gefährliche Auskunft ist ohne jeden Warnhinweis stehen geblieben. Das Ergebnis ist trotzdem eine Psychose gewesen.

Einzelfälle oder System?

Einzelfälle bleiben Einzelfälle. Die interessantere Frage lautet deshalb, ob sich dieses Verhalten reproduzieren lässt. Genau das hat eine Forschungsgruppe um Joshua Au Yeung 2025 mit einem Prüfverfahren namens Psychosis‑bench versucht. Dafür haben die Forscher 16 Gesprächsverläufe über jeweils zwölf Runden konstruiert, in denen sich ein Wahn schrittweise aufbaut, und diese acht großen Sprachmodellen vorgelegt. Insgesamt sind so 1.536 Gesprächsrunden entstanden.

Grafik mit zwei Hälften: Links, beschriftet mit „Einzelfall“, fliegt ein einzelner Vogel. Rechts, beschriftet mit „System“, ein riesiger Schwarm aus Hunderten Vögeln.

Das Ergebnis fällt bei allen getesteten Modellen ähnlich aus. Wahninhalte werden im Schnitt eher bestätigt als hinterfragt. Schädliche Wünsche der simulierten Person werden häufig unterstützt statt gebremst. Und einen Sicherheitshinweis, also etwa den Verweis auf professionelle Hilfe, geben die Modelle nur in gut einem Drittel der Situationen, in denen er angebracht wäre. In 51 von 128 durchgespielten Gesprächen kommt überhaupt kein einziger solcher Hinweis, das sind knapp 40 Prozent.

Ein Detail daraus ist für die Praxis besonders relevant: Die Modelle reagieren deutlich schlechter, wenn die Krise nicht ausdrücklich benannt wird, sondern nur zwischen den Zeilen steht. Und genau so äußert sie sich im echten Leben. Kaum jemand schreibt einem Chatbot „ich habe wahnhafte Gedanken“. Man schreibt, dass die Kollegen sich merkwürdig verhalten, dass die Zeichen sich häufen, dass man das Gefühl hat, etwas Größeres zu erkennen.

Für den Alltag heißt das vor allem eins: Ein Chatbot ist kein Gegenüber, das einem widerspricht, wenn es darauf ankommt, dass man widersprechen sollte. Er ist ein System, welches gelernt hat, dass Zustimmung besser ankommt als Widerspruch. Wer das weiß, kann es einkalkulieren und gezielt Gegenargumente einfordern, statt die eigene Sicht in die Frage einzubauen. Wer es nicht weiß, hält die Bestätigung für eine zweite Meinung. Und für Menschen in einer Ausnahmesituation kann genau das der Unterschied sein. Deshalb braucht es eine umfassende Aufklärungsarbeit hierzu und eine Sensibilisierung von Multiplikatoren.

Wenn Sie sich für dieses Thema interessieren und mehr dazu erfahren möchten, komme ich gerne für einen Vortrag auf Ihre Veranstaltung oder in Ihre Organisation.

Porträt von Niklas Titgemeyer

Niklas Titgemeyer ist Technik‑Soziologe (M. A.) und Keynote Speaker mit Spezialisierung auf Risiken bei der Nutzung von KI‑Sprachmodellen. Hauptberuflich arbeitet er in der Radikalisierungsprävention. Auf Sozialen Medien betreibt er Wissenschaftskommunikation mit über 67.000 Followern plattformübergreifend.

Keynote anfragen