Kritisch denken, sich ein eigenes Urteil bilden und an verlässliche Informationen kommen: Diese Fähigkeiten sind das Fundament einer Demokratie. Aber durch einen unreflektierten Umgang mit KI‑Sprachmodellen können genau diese unter Druck geraten.
Die Fähigkeit, sich selbstständig ein Urteil zu bilden, ist kein Luxus. Sie ist ein erklärtes Ziel unseres Bildungssystems und die Voraussetzung dafür, dass freie Bürgerinnen und Bürger an einer Demokratie teilhaben können. Wer Informationen nicht mehr prüfen, einordnen und hinterfragen kann, gibt ein Stück seiner Mündigkeit ab.
Schon 1784 hat Immanuel Kant beschrieben, wie bequem es ist, das eigene Denken auszulagern. Ein berühmtes Zitat von ihm lautet: „Habe ich ein Buch, das für mich Verstand hat, einen Seelsorger, der für mich Gewissen hat, einen Arzt, der für mich die Diät beurteilt, so brauche ich mich ja nicht selbst zu bemühen.“ Der Grundgedanke dahinter ist erst die Spitze eines Eisbergs an Problemen bei der Nutzung von KI‑Sprachmodellen. In Summe drohen diese, unsere kognitiven Fähigkeiten und unsere Mündigkeit zu beeinträchtigen. In dieser Keynote wird anhand von aktuellen Studien gezeigt, woran sich diese Gefahr offenbart.
Es gibt vor allem vier Eigenschaften heutiger Sprachmodelle, die unsere Urteilskraft unter Druck setzen. Einzeln sind sie schon problematisch. Aber zusammen verstärkt sich dieser Effekt noch, und stellt eine Gefahr nicht nur für die individuelle Mündigkeit, sondern auch für die Demokratie dar.
Sprachmodelle erfinden Fakten. Andauernd. Inzwischen wissen das immer mehr Menschen. Aber das Ausmaß dieses Phänomens ist noch lange nicht begriffen worden und stellt eine immense Gefahr in der Nutzung dieser Modelle dar. Das Tückische ist dabei meist nicht nur der Fehler an sich, sondern dass er nicht als Fehler erkennbar ist. Eine erfundene Quelle, eine falsche Jahreszahl, ein nie so ausgesprochenes Zitat: alles wirkt gleich überzeugend. Bis man es kontrolliert.
Moderne Modelle zeigen oft ihren „Gedankengang“, also die Chain of Thought, an, bevor sie antworten. Das wirkt wie nachvollziehbares Schlussfolgern und erzeugt Vertrauen. Doch dieser dargestellte Gedankengang muss nicht der tatsächliche Weg zur Antwort sein. Forschung zeigt, dass solche Begründungen nachträglich konstruiert sein können und nicht zwingend abbilden, wie das Modell intern wirklich zu seinem Ergebnis kommt. Stattdessen kann die Chain of Thought genutzt werden, um vom Modell vorbestimmte Antworten zu legitimieren.
Sprachmodelle neigen dazu, uns zuzustimmen. Sie bestätigen unsere Annahmen also tendenziell auch dann, wenn sie wissen, dass diese falsch sind. In der Fachliteratur wird dieses Phänomen „Sycophancy“ genannt. Der Grund dafür liegt im Training. Denn die Modelle werden so optimiert, dass sie Antworten produzieren, die von Menschen bevorzugt werden. Und wir bevorzugen es (emotional) im Gespräch nun mal, wenn wir Bestätigung erhalten, anstatt dass unsere Weltsicht hinterfragt oder uns gesagt wird, dass wir falsch liegen. Studien zeigen das deutlich. Und jedes KI‑Modell, das Sie benutzen, ist sich dieser Präferenz bewusst und verhält sich entsprechend. Denn eine unerwünschte Konsequenz des Trainings (des Reinforcement Learning from Human Feedback, genauer gesagt) ist es, dass es Antworten erstellen soll, die uns als Menschen zufriedenstellen. Wieso, weshalb, warum? Das erfahren Sie in der Keynote!
Die Zuverlässigkeit dieser Modelle ist aber nur ein Teil des Problems. Ein weiterer Faktor bleibt das Vertrauen der Menschen in diese Systeme, das in Kombination mit der Nutzung ein Risiko darstellt. Viele übernehmen die Ausgaben eines KI‑Sprachmodells einfach ungeprüft. In einer großen internationalen Befragung gaben zwei Drittel der Beschäftigten an, sich bei der Arbeit schon auf KI‑Ergebnisse verlassen zu haben, ohne sie kritisch zu prüfen. Das kommt nicht von irgendwo: Fast die Hälfte der Arbeitnehmer befürchtet, abgehängt zu werden, wenn sie KI nicht nutzen. Dieser Druck befördert einen sorglosen Umgang und ist der Beginn eines Teufelskreislaufs. Dahinter stecken allerdings verschiedene Phänomene wie zum Beispiel der Automation Bias oder Overreliance. In dieser Keynote wird gezeigt, wie sich diese unterscheiden und auf welche Dinge hierbei geachtet werden muss.
Die Folgen bleiben nicht abstrakt. Sie zeigen sich überall dort, wo Menschen wichtige Entscheidungen auf KI‑Antworten stützen. Bei medizinischen und rechtlichen Fragen. Bei Ernährung und psychologischer Hilfe. Bei der Einordnung von Nachrichten, bei Bewerbungen und bei Aufgaben im Berufsalltag. Und nicht zuletzt in der Kindererziehung und in der Wissenschaftskommunikation.
Überall gilt dasselbe Muster: Eine falsche, aber überzeugend formulierte Antwort kostet umso mehr, je weniger sie hinterfragt wird. Diese Keynote schärft genau dieses Bewusstsein.
