Was bedeutet das nach meinem Verständnis:
Bei GPT ist es so, dass es sich den bestehenden Text „anschaut“ und dann, anhand von dem, was da bereits steht, das nächste Wort errechnet (immer nur ein Wort). Bei der Berechnung werden die wahrscheinlichsten Kandidaten für das nächste Wort ermittelt. Dann schreibt GPT einen der Kandidaten hin* und fängt erneut an. Text „lesen“, nächstes Wort ausrechnen. Text „lesen“, nächstes Wort ausrechnen. Usw. usf.
(Wobei intern keine Worte sondern nur Zahlen verwendet werden.)
Wenn ein Mensch etwas sinnvolles schreibt, hat er / sie vermutlich schon vorher eine gewisse Vorstellung von dem, was er / sie schreiben will.
Wenn ein Mensch schreibt „Delphine sind Säugetiere, weil sie lebende Nachkommen auf die Welt bringen und Milch geben.“, dann hat er / sie sich evtl. aus den Tatsachen hinter dem „weil“ die vorhergehende Aussage „Säugetier“ hergeleitet.
Bei GPT kann das nicht passieren. GPT schreibt das Wort „weil“ einfach nur, weil der Algorithmus dies (basierend auf den Wörtern, die bereits vorhanden sind) errechnet hat.
Die Wahrscheinlichkeiten werden beim „Training“ des Modells ermittelt. Das Modell wird mit Unmengen an Text gefüttert und leitet sich daraus die Wahrscheinlichkeiten ab.
* Es hat sich gezeigt, dass die Texte „besser“ und interessanter werden, wenn nicht immer das wahrscheinlichste Wort verwendet wird. Eigentlich handelt es sich auch nicht unbedingt um Wörter sondern um sogenannte Token. Dabei kann es sich u. a. um Worte, Teilworte oder einzelne Buchstaben handeln.