Kategorie: Software

LLMs: Chain-of-thought prompting

Man konnte zeigen, dass man von Large Language Models (wie GPT) bei einigen Fragestellungen häufiger richtige Antworten erhält, wenn man der Frage beispielsweise das Zusatzkommando „Let’s think step by step“ hinzufügt. Das Modell generiert dann ggf. eine Wortfolge, die wie eine schrittweise Herleitung des Ergebnisses aussieht. M. E. ist daran interessant, dass solche Modelle, obwohl sie keinerlei Verständnis von Frage und Antwort haben, auf diese Weise bessere Antworten generieren.

Ein entsprechendes Paper findet sich hier: https://openreview.net/pdf?id=e2TBb5y0yFf

Im Paper wird folgendes Beispiel genannt:

„Q: A juggler can juggle 16 balls. Half of the balls are golf balls, and half of the golf balls are blue. How many blue golf balls are there?
A: Let’s think step by step.

(Output) There are 16 balls in total. Half of the balls are golf balls. That means that there are 8 golf balls. Half of the golf balls are blue. That means that there are 4 blue golf balls.“

Ohne die Zusatzanweisung „Let’s think step by step“ hätte das Modell, das im Beispiel verwendet wurde, eine falsche Antwort gegeben: Es hätte „8“ geantwortet.

Gerade weil das Modell kein Verständnis davon hat, welche Wortfolgen erzeugt werden, muss man dabei im Auge behalten, dass auch diese Methode nicht zu fehlerfreien Antworten führt. Bei vielen Antworten wird es sich weiterhin um „Halluzinationen“ handeln.

„Like previous GPT models, the GPT-4 base model was trained to predict the next word in a document“

Was bedeutet das nach meinem Verständnis:

Bei GPT ist es so, dass es sich den bestehenden Text „anschaut“ und dann anhand von dem, was da bereits steht, das wahrscheinlichste nächste Wort errechnet. Dann schreibt es das wahrscheinlichste Wort hin und fängt erneut an. Text „lesen“, nächstes Wort ausrechnen. Text „lesen“, nächstes Wort ausrechnen. Usw. usf.

(Wobei intern keine Worte sondern nur Zahlen verwendet werden.)

Wenn ein Mensch etwas sinnvolles schreibt, hat er / sie vermutlich schon vorher eine gewisse Vorstellung von dem, was er / sie schreiben will.

Wenn ein Mensch schreibt „Delphine sind Säugetiere, weil sie lebende Nachkommen auf die Welt bringen und Milch geben.“, dann hat er / sie sich evtl. aus den Tatsachen hinter dem „weil“ die vorhergehende Aussage „Säugetier“ hergeleitet.

Bei GPT kann das nicht passieren. GPT schreibt das Wort „weil“ einfach nur, weil der Algorithmus errechnet hat, dass nach der Wortfolge „Delphine sind Säugetiere“ das Wort „weil“ wahrscheinlicher ist als z. B. das Satzende oder das Wort „die“.

Die Wahrscheinlichkeiten werden beim „Training“ des Modells ermittelt. Das Modell wird mit Unmengen an Text gefüttert und leitet sich daraus die Wahrscheinlichkeiten ab.

Schwächen eines Apple TV

Ich wurde kürzlich zu meiner Meinung zu Apple TV gefragt. Ein Pluspunkt von Apple TV ist sicherlich, dass das Gerät den Fernseher nach Möglichkeit auf dieselbe Bildwiederholungsrate einstellt wie das Videomaterial. Das reduziert Mikroruckler.

Außerdem sind mir folgende Schwächen eingefallen:

  • Es sind keine USB-Geräte anschließbar.
  • Apps können nur aus dem Appstore installiert werden. Eine Installation von Apps, die im Appstore nicht verfügbar sind, ist nicht möglich. Es scheint z. B. keinen Browser zu geben.
  • Das Gerät funktioniert nur, wenn man eine Apple-ID hat und diese auf dem Gerät eingibt. Das Anlegen einer neuen ID gestaltet sich relativ aufwändig, insb. wenn man keine weiteren Geräte von Apple hat.
  • Apple TV+ zeigt vor jedem Video Werbung für ein anderes Video von Apple TV+.
  • Soweit ich weiß können keine Playlisten angelegt werden. Schon gar nicht über mehrere Streamingdienste hinweg.
  • Mit der Fernbedienung kann man nicht zu einer Zeitmarke innerhalb eines Videos springen. Man kann nur „vor- und zurückspulen“, was ggf. recht lange dauert.
  • Es gibt keine Möglichkeit die Sprache pro Serie festzulegen. Wenn man unterschiedliche Serien in unterschiedlichen Sprachen anschaut, muss man immer wieder die Sprache wechseln.
  • Die Liste der auswählbaren Sprachen kann nicht angepasst werden. D. h. beim Umstellen der Sprache muss man ggf. immer wieder über Sprachen hinwegscrollen, an denen man eigentlich kein Interesse hat. Für mich kommen eigentlich nur zwei Sprachen in Betracht. Wenn ich die übrigen Sprachen entfernen könnte, wäre mir sehr geholfen. Auf meinem deutschen Apple-TV steht die Sprache Deutsch immer an erster Stelle, was einen Wechsel zur englischen Tonspur noch aufwändiger macht.
  • In der Apple TV+-App gibt es die Möglichkeit das Intro einer Serie zu überspringen. Den Button muss man allerdings immer wieder anklicken. Es gibt keine Möglichkeit das Intro immer zu überspringen.
  • Es gibt keine Möglichkeit Untertitelsprache und Audiosprache gleichzeitig zu wechseln.
  • Das Eingeben von Buchstaben mit der Fernbedienung ist ziemlich unkomfortable.
  • Nach Szenenwechseln kommt es manchmal zu kurzen Rucklern. Ggf. liegt das am Streamingdienst. Mir ist das bei Paramount+ aufgefallen.
  • Bei Apps können die Berechtigungen nicht entzogen werden.
  • Das Gerät hat keinen separaten Ausgang für den Ton. D. h. wer einen AV-Receiver benutzt und den HDMI-Ausgang des Apple-TVs nicht durch den AV-Receiver schleift, muss den Ton vom Fernsehgerät abgreifen (z. B. per ARC).

GOG-Version von Day Of The Tentacle Remastered unter Ubuntu 22.04

Die GOG-Version von „Day Of The Tentacle Remastered“ (DOTT) funktionierte bei mir unter Ubuntu 22.04 nur nach manueller Installation zusätzlicher 32 Bit Libraries. Das Installationsprogramm vom DOTT gibt leider keinen entsprechenden Hinweis aus.

Ich habe folgende Libraries installiert:

sudo dpkg --add-architecture i386
sudo apt-get install libudev1:i386
sudo apt-get install libgl1-mesa-glx:i386
sudo apt-get install libasound2:i386

Außerdem läuft das Spiel nur, wenn ich die Datei Dott (im Unterverzeichnis game des Spiels) als Root starte (sudo ./Dott). Die Ursache dafür muss noch suchen.

Auf meinem 4K Monitor funktioniert Vollbild leider nicht. Außerdem ist die Schrift zur Auswahl von Dialogoptionen etwas klein.

Traefik: Zertifikate mittels Bash-Script exportieren

Ich habe heute TLS-Zertifkate mit einer modifizierten Version dieses Scripts exportiert:

https://blog.cubieserver.de/2021/minimal-traefik-v2-certificate-export/

Zu beachten ist, dass mittig im Script der Besitzer der Zertifikatsdateien geändert wird. Neben den Pfaden, die am Anfang des Scripts einzutragen sind, und dem Namen des Resolvers, muss diese Stelle ggf. angepasst werden.

Datenschutz bei Kopfhörer-Apps?

Ich will mir neue Kopfhörer mit ANC kaufen. Diese werden in der Regel per App konfiguriert. Leider hat Stiftung Warentest die Bewertung des Datensendeverhaltens eingestellt.

Auf der Website Privacy Not Included bei Mozilla habe ich Einträge zu Kopfhörer-Apps von Samsung, Sony, Jabra und Sennheiser gefunden. Samsung ist wohl eher nicht zu empfehlen.

Die Datenschutzerklärung der App von Sennheiser habe ich überflogen. Sie scheint verständlich geschrieben zu sein. Wenn man der Datenübermittlung nicht zustimmt, werden laut Datenschutzbestimmung scheinbar fast keine Daten übertragen. Nach dem ersten Start der App wird man gefragt, ob man einer Datenübermittlung zustimmen möchte. Insgesamt sehr positiv!