Kategorie: Linux

Unterschiedliche LLMs mit nur einem einzigen Befehl lokal starten

hat die Möglichkeit geschaffen, mit einem einzigen Befehl Lage Langauge Models auf dem eigenen Computer auszuführen (sofern der Computer entsprechend ausgestattet ist). Es muss lediglich eine einzige Datei heruntergeladen und ausgeführt werden. Die Modelle sollten auf verschiedenen Betriebssystemen sowie CPU- und GPU-Architekturen laufen (ich habe es unter auf einer Intel-CPU ausprobiert). Es stehen mehrere Modelle zum Download bereit:

https://github.com/Mozilla-Ocho/llamafile

Unter Linux (und anderen Unix-Betriebssystemen) muss der Datei vor dem Start das Ausführungsrecht erteilt werden. Unter Windows gibt es wohl Einschränkungen bei Modellen, die größer als 4 GB sind.

Danke Mozilla!

Betrieb eines Matrix-Synapse-Servers vs Betrieb des XMPP-Servers Prosody

Nachdem ich jahrelang einen -Server mit der Software betrieben habe, habe ich seit einigen Monaten zusätzlich einen Synapse-Server installiert.

M. E. gestaltet sich die Installation von Matrix Synapse deutlich einfacher als die Installation von Prosody, weil für Synapse ein offizielles Docker-Image verfügbar ist (das offizielle Docker-Image von Prosody wird schon länger nicht mehr aktualisiert). Außerdem müssen bei Prosody zunächst Erweiterungen konfiguriert und ggf. installiert werden, da XMPP erst mit Erweiterungen (sog. XEPs) richtig gut nutzbar ist.

MD5-Summe rekursiv für alle Dateien in einem Verzeichnisbaum erstellen (Linux)

find -type f \( -not -name "md5sum.txt" \) -exec md5sum '{}' \; > md5sum.txt

Quelle: https://askubuntu.com/questions/907953/how-can-i-recursively-list-md5sum-of-all-the-files-in-a-directory-and-its-subdir

Android-Dateisystem zuverlässig unter Linux mounten

Ich wollte heute einige Gigabyte an Fotos von meinem -Telefon auf meinen -Rechner kopieren. Per USB-Kabel hat dies leider nicht zuverlässig geklappt. Die Verbindung ist immer wieder abgebrochen. Letztendlich bin ich bei gelandet. Das Einbinden des Telefons mittels sshfs über mein WLAN funktioniert bei mir deutlich stabiler und auch etwas schneller als über ein USB-Kabel.

Grob gesagt habe ich folgende Schritte unternommen:

  1. Die App Termux unter Android installieren (https://f-droid.org/en/packages/com.termux/)
  2. Termux unter Android Zugriff auf den Speicher erteilen (Berechtigungsverwaltung unter Android). Ggf. auch termux-setup-storage ausführen.
  3. sshd unter installieren, konfigurieren und starten. Siehe https://wiki.termux.com/wiki/Remote_Access.
  4. Android-Dateisystem auf dem lokalen Rechner mittels sshfs einbinden: sshfs -p 8022 user@[IP des Telefons im WLAN]:/storage/emulated/0 [Verzeichnis, in das gemountet werden soll]

Nach Abschluss der Arbeiten kann sshd auf dem Telefon in Termux über „pkill sshd“ beendet werden.

ssh ist einfach super!