Was bedeutet das nach meinem Verständnis:
Bei GPT ist es so, dass es sich den bestehenden Text „anschaut“ und dann anhand von dem, was da bereits steht, das wahrscheinlichste nächste Wort errechnet. Dann schreibt es das wahrscheinlichste Wort hin und fängt erneut an. Text „lesen“, nächstes Wort ausrechnen. Text „lesen“, nächstes Wort ausrechnen. Usw. usf.
(Wobei intern keine Worte sondern nur Zahlen verwendet werden.)
Wenn ein Mensch etwas sinnvolles schreibt, hat er / sie vermutlich schon vorher eine gewisse Vorstellung von dem, was er / sie schreiben will.
Wenn ein Mensch schreibt „Delphine sind Säugetiere, weil sie lebende Nachkommen auf die Welt bringen und Milch geben.“, dann hat er / sie sich evtl. aus den Tatsachen hinter dem „weil“ die vorhergehende Aussage „Säugetier“ hergeleitet.
Bei GPT kann das nicht passieren. GPT schreibt das Wort „weil“ einfach nur, weil der Algorithmus errechnet hat, dass nach der Wortfolge „Delphine sind Säugetiere“ das Wort „weil“ wahrscheinlicher ist als z. B. das Satzende oder das Wort „die“.
Die Wahrscheinlichkeiten werden beim „Training“ des Modells ermittelt. Das Modell wird mit Unmengen an Text gefüttert und leitet sich daraus die Wahrscheinlichkeiten ab.