Risiken bei der Arbeit und
Recherche mit Chatbots

Sprachmodelle klingen wahnsinnig intelligent und selbstbewusst. Nicht nur wenn ihre Antworten korrekt sind, sondern auch dann, wenn sie falsch liegen. Diese Tendenz zur Verbreitung von Falschinformationen ist ein großes Problem.

Eisberg‑Grafik: Über der Wasseroberfläche stehen ChatGPT, Gemini und Claude, darunter liegen die verborgenen Schwachstellen Halluzinationen, Faktenuntreue, Automation Bias, Datenschutz, Sycophancy, Overreliance, Täuschung, Deskilling und Bias.

Sprachmodelle sind innerhalb weniger Jahre zum Alltagswerkzeug von Milliarden Menschen weltweit geworden. Sie schreiben Mails, fassen Texte zusammen oder recherchieren Informationen. Ein Problem dabei, das vielen noch nicht in diesem Ausmaß bewusst ist: Diese Modelle klingen immer überzeugend und selbstsicher. Auch dann, wenn sie falsch liegen. Und das tun sie deutlich öfter als gedacht. Wie immer ist es aber komplexer als eine simple Aussage wie „sie liegen häufig falsch“.

Es gibt Bereiche, in denen sie besonders oft falsch liegen, und andere Bereiche, in denen sie „nur“ selten falsch liegen. Außerdem gibt es Modelle und Gebrauchsweisen, die eine stärkere Tendenz dazu haben, Falschinformationen zu verbreiten oder unsauber zu arbeiten. Wer die Grenzen und Schwachstellen von Chatbots nicht kennt, übernimmt deshalb schnell mal haufenweise Fehler, ohne es zu merken.

Eine ungeschulte Nutzung kann deshalb schnell mehr Schaden anrichten, als die meisten glauben. Falsche Fakten in einem Angebot oder Beitrag, erfundene Quellen in einer Recherche, bis hin zu Wahnvorstellungen, weil der Chatbot die eigene Weltsicht immer wieder bestätigt, anstatt sie zu hinterfragen. Für einen verantwortungsbewussten Umgang ist es daher entscheidend, zu wissen, wo diese Systeme an ihre Grenzen stoßen.

Die 6 zentralsten Risiken bei der Nutzung von Chatbots

Sprachmodelle haben viele Schwachstellen. Halluzinationen sind zwar die bekanntesten, aber sie sind nur die Spitze des Eisbergs. Im Folgenden finden Sie einige der wichtigsten Limitierungen und Risiken bei der Nutzung von Sprachmodellen.

01

Halluzinationen

Sprachmodelle erfinden andauernd Fakten, Quellen und Zitate. Und zwar in einem Tonfall, der nicht von einer korrekten Antwort zu unterscheiden ist. Seien Sie vorsichtig und vertrauen Sie niemals ungeprüft einem Chatbot, wenn es sich dabei um Informationen handelt, bei denen der exakte Wahrheitsgehalt eine Rolle spielt.

02

Schmeichelei

Modelle neigen dazu, dem Nutzer nach dem Mund zu reden, statt zu widersprechen. Sie bestätigen falsche Annahmen und loben schwache Ideen. Das liegt in erster Linie daran, wie diese Modelle trainiert werden. In jedem Fall muss man vorsichtig sein, weil sie sogar so weit gehen können, Fakten zu erfinden, damit der Nutzer zufriedengestellt wird.

03

Overreliance

Je schwieriger eine Aufgabe wirkt, desto eher verlassen sich Menschen vollständig auf die KI, statt deren Antworten zu prüfen. Forschung zeigt, dass diese Übernahme sowohl unbewusst, als auch eine strategische Entscheidung sein kann. Weil man sich im Extremfall dafür entscheidet, der Maschine aus Faulheit blindes Vertrauen zu schenken.

04

Automation Bias

Menschen neigen auch dazu, automatisierten Systemen mehr Vertrauen zu schenken, als dem eigenen Urteil. Weil wir ihnen eine Art objektive Autorität zusprechen. Der Taschenrechner macht ja schließlich auch keine Fehler – so zumindest unsere verzerrte Denkweise. Laut einer Studie von KPMG verlassen sich rund zwei Drittel der Beschäftigten auf KI‑Ausgaben, ohne sie kritisch zu prüfen.

05

Täuschung

Sprachmodelle können uns absichtlich in die Irre führen und täuschen. Sie behaupten etwa, eine Quelle gelesen oder einen Rechenweg durchlaufen zu haben, obwohl nichts davon passiert ist. Und wenn sie sich vertan haben, schieben sie oft eine plausibel klingende Begründung nach, statt den Fehler offenzulegen. Studien zeigen: Die dargelegte Argumentation und der wahre Grund für eine Antwort sind oft nicht dasselbe.

06

AI‑Overview vs. Suchalgorithmen

Klassische Suchmaschinen listen die Ergebnisse nach Autorität und Relevanz auf. KI‑Übersichten hingegen liefern direkt die fertige Antwort. Darin liegt ein gravierender Unterschied und gleich mehrere Probleme. Während Suchalgorithmen uns dazu zwingen, verschiedene Quellen zu vergleichen und zu bewerten, verleitet die KI‑Antwort dazu, eine oftmals fehlerhafte Antwort ungeprüft zu übernehmen.

Diese sechs Aspekte zeigen: Die größte Schwachstelle von KI-Systemen sitzt oft vor dem Bildschirm. Allerdings nicht aus Inkompetenz, sondern weil diese Tools fehlerhaft sind. Und weil die Art und Weise, wie sie trainiert werden, dazu führt, dass sie eher Antworten generieren, die uns zufriedenstellen, anstatt Antworten, die faktisch korrekt sind. Wer Sprachmodelle produktiv und verantwortungsbewusst nutzen will, muss diese Dynamiken verstehen. Genau hier setzt diese Keynote an. Um ein Bewusstsein für die vorhandenen Risiken zu schaffen und das vorhandene Wissen praxisnah an das Publikum zu bringen. Um Ihre Mitarbeitenden oder Ihr Publikum für den Umgang mit KI zu schulen, kommt Niklas Titgemeyer gerne im Rahmen einer Keynote, eines Panels oder einer Schulung zu Ihnen.

Porträt von Niklas Titgemeyer

Niklas Titgemeyer ist Technik‑Soziologe (M. A.) und Keynote Speaker mit Spezialisierung auf Risiken bei der Nutzung von KI‑Sprachmodellen. Auf Sozialen Medien betreibt er Wissenschaftskommunikation mit über 67.000 Followern plattformübergreifend.

Keynote anfragen