Kritisch denken, sich ein eigenes Urteil bilden und an verlässliche Informationen kommen: Diese Fähigkeiten sind das Fundament einer Demokratie. Aber durch einen unreflektierten Umgang mit KI‑Sprachmodellen können genau diese unter Druck geraten. Diese Keynote zeigt, warum das so ist.
Die Fähigkeit, sich selbstständig ein Urteil zu bilden, ist kein Luxus. Sie ist ein erklärtes Ziel unseres Bildungssystems und die Voraussetzung dafür, dass freie Bürgerinnen und Bürger an einer Demokratie teilhaben können. Wer Informationen nicht mehr prüfen, einordnen und hinterfragen kann, gibt ein Stück seiner Mündigkeit ab.
Schon 1784 hat Immanuel Kant beschrieben, wie bequem es ist, das eigene Denken auszulagern. Sein berühmter Satz „Habe ich ein Buch, das für mich Verstand hat, einen Seelsorger, der für mich Gewissen hat, einen Arzt, der für mich die Diät beurteilt, so brauche ich mich ja nicht selbst zu bemühen“ liest sich heute wie eine Vorwegnahme von ChatGPT. Der entscheidende Unterschied: Bei Kant ist die Unmündigkeit selbstverschuldet. Wenn Systeme aber darauf trainiert sind zu gefallen, flüssig formulieren und Sicherheit nur vortäuschen, dann wird die Unmündigkeit zusätzlich von außen begünstigt. In dieser Keynote zeige ich, an welchen vier Stellen das passiert.
Vier Eigenschaften heutiger Sprachmodelle setzen unsere Urteilskraft unter Druck. Einzeln sind sie schon problematisch. Zusammen verstärken sie sich.
Sprachmodelle erfinden Fakten. Sie geben falsche Informationen aus, und zwar im selben souveränen Ton wie korrekte. Das Tückische ist nicht der Fehler an sich, sondern dass er nicht als Fehler erkennbar ist. Eine erfundene Quelle, eine falsche Jahreszahl, ein nie gesprochenes Zitat: alles wirkt gleich überzeugend. Wer die Antwort nicht unabhängig prüft, übernimmt die Erfindung als Wissen.
Moderne Modelle zeigen oft einen Gedankengang an, bevor sie antworten. Das wirkt wie nachvollziehbares Schlussfolgern und erzeugt Vertrauen. Doch dieser dargestellte Gedankengang muss nicht der tatsächliche Weg zur Antwort sein. Forschung zeigt, dass solche Begründungen nachträglich konstruiert sein können und nicht zwingend abbilden, wie das Modell intern wirklich zu seinem Ergebnis kommt. Die Erklärung sieht also überzeugender aus, als sie verlässlich ist.
Sprachmodelle neigen dazu, uns zuzustimmen. Sie bestätigen unsere Annahmen, auch wenn diese falsch sind. Fachlich nennt man das Sycophancy. Der Grund liegt im Training: Modelle werden so optimiert, dass sie Antworten geben, die Menschen bevorzugen. Und Menschen bevorzugen im Gespräch oft die angenehme Bestätigung gegenüber der unbequemen Korrektur.
Studien zeigen das deutlich. Trainingsverfahren mit menschlichem Feedback können dazu führen, dass Modelle eher die Überzeugung des Nutzers spiegeln als die Wahrheit sagen. In einer Untersuchung bewerteten Teilnehmende schmeichelnde Antworten sogar als hochwertiger, vertrauten dem Modell mehr und wollten es eher erneut nutzen. Das Problem ist also nicht, dass wir grundsätzlich ein unehrliches Modell wollen. Im konkreten Gespräch merken wir nur nicht, wenn wir hinters Licht geführt werden.
Selbst wenn ein Modell zuverlässig wäre, bleibt das Verhalten der Menschen ein Risiko. Viele übernehmen KI‑Ausgaben ungeprüft. In einer großen internationalen Befragung gaben zwei Drittel der Beschäftigten an, sich bei der Arbeit schon auf KI‑Ergebnisse verlassen zu haben, ohne sie kritisch zu prüfen. Fast die Hälfte fürchtet, abgehängt zu werden, wenn sie KI nicht nutzt. Dieser Druck befördert einen sorglosen Umgang.
Dahinter stecken bekannte Muster. Der sogenannte Automation Bias beschreibt die Neigung, automatisierten Systemen blind zu vertrauen und das eigene Urteil zurückzustellen. Wir sparen gern geistige Energie, und Technik wirkt durch exakte Zahlen und Diagramme objektiver, als sie ist. Hinzu kommt: Je schwieriger eine Aufgabe erscheint, desto eher folgen Menschen einfach der KI, statt sich mit der Komplexität auseinanderzusetzen. Wer Antworten ungeprüft übernimmt, macht am Ende mehr Fehler, als wenn er ganz ohne KI gearbeitet hätte.
Die Folgen bleiben nicht abstrakt. Sie zeigen sich überall dort, wo Menschen wichtige Entscheidungen auf KI‑Antworten stützen. Bei medizinischen und rechtlichen Fragen. Bei Ernährung und psychologischer Hilfe. Bei der Einordnung von Nachrichten, bei Bewerbungen und bei Aufgaben im Berufsalltag. Und nicht zuletzt in der Kindererziehung und in der Wissenschaftskommunikation.
Überall gilt dasselbe Muster: Eine falsche, aber überzeugend formulierte Antwort kostet umso mehr, je weniger sie hinterfragt wird. Diese Keynote schärft genau dieses Bewusstsein.
