Wie funktionieren Sprachmodelle wie ChatGPT

Sprachmodelle werden in der ersten Phase, dem sogenannten Pre‑Training, mit gigantischen Mengen an Textdaten gefüttert. Wir sprechen hierbei von Billionen von Wörtern. Und dabei haben die Modelle im Kern nur eine einzige Aufgabe: Sie werden darauf trainiert, basierend auf dem gegebenen Text das statistisch wahrscheinlichste nächste Wort vorherzusagen. Dabei müssen sie am Anfang notwendigerweise erstmal raten. Aber mit jedem Rateversuch bekommen sie im Nachhinein die Antwort präsentiert und können daraus dann lernen, indem sie die sogenannten Gewichte im Inneren des neuronalen Netzes anpassen. Das bedeutet letztlich nur: Das Modell nimmt auf Grundlage der Erfahrungen Einstellungen im Inneren vor, wegen denen es mit der Zeit immer bessere Vorhersagen treffen kann.

Das sinnvollste nächste Wort können sie nur deshalb so effizient vorhersagen, weil sie heute dazu in der Lage sind, den Kontext einer Eingabe zu verarbeiten und zu verstehen. Also dass sie nicht nur einzelne Wörter verstehen, sondern welche Wörter sich in einer Eingabe aufeinander beziehen. Dass sie das können, liegt an modernen Algorithmen, insbesondere dem sogenannten Aufmerksamkeitsmechanismus. Dieser ermöglicht es dem Modell, alle Wörter einer Eingabe gleichzeitig zu betrachten und ihre Beziehungen zueinander zu gewichten. Dadurch versteht es also, dass sich ein Wort wie „Bank“ auf das Verb „sitzen“ in einem gegebenen Satz bezieht und dass es sich deshalb nicht um das Finanzinstitut handelt. Oder dass wir mit dem Wort „sie“ in einem Satz unsere Chefin meinen, die wir vor 3 Sätzen namentlich erwähnt haben.

Weil das Modell durch diesen Mechanismus den jeweiligen Kontext erfasst, ist es in der Lage, ausgehend von der Eingabe das sinnvollste nächste Wort zu berechnen. Und dieser Prozess der Wort‑für‑Wort‑Vorhersage wird einfach so lange wiederholt, bis eine zusammenhängende, sinnvolle Antwort erzeugt worden ist. Das Modell versteht also, wenn wir es darum bitten, uns einen schlechten Klopf‑Klopf‑Joke zu erzählen, dass es nicht einfach nach dem Klopfen aufhören soll, weil der Abschnitt sonst keinen Sinn ergeben würde.