#Mozilla hat die Möglichkeit geschaffen, mit einem einzigen Befehl Lage Langauge Models auf dem eigenen Computer auszuführen (sofern der Computer entsprechend ausgestattet ist). Es muss lediglich eine einzige Datei heruntergeladen und ausgeführt werden. Die Modelle sollten auf verschiedenen Betriebssystemen sowie CPU- und GPU-Architekturen laufen (ich habe es unter #Linux auf einer Intel-CPU ausprobiert). Es stehen mehrere Modelle zum Download bereit:
https://github.com/Mozilla-Ocho/llamafile
Unter Linux (und anderen Unix-Betriebssystemen) muss der Datei vor dem Start das Ausführungsrecht erteilt werden. Unter Windows gibt es wohl Einschränkungen bei Modellen, die größer als 4 GB sind.
Danke Mozilla!