TheModelDesk

llama.cpp ist eine leichtgewichtige, quelloffene Inferenzlaufzeit, die große Sprachmodelle auf Benutzerhardware ausführt, ohne Cloud-Abhängigkeiten. Das Projekt hat über 123.500 Sterne auf GitHub gesammelt und bietet eine einheitliche Binärdatei, die über heterogene Plattformen läuft: Apple Silicon (M1–M Ultra), NVIDIA GPUs (RTX 3090, RTX 4090, RTX 5090, A100, H100), AMD Radeon und MI-Serie, Intel Arc, Google TPU Varianten, NVIDIA Jetson Edge-Geräte und Standard-CPUs.

Zu den Hauptmerkmalen gehören kostenlose lokale Ausführung (keine API-Schlüssel, keine Telemetrie), Speicherung von Modellen und Gesprächsdaten auf dem Gerät des Benutzers sowie plattformübergreifende Kompatibilität mit handoptimierten GPU- und CPU-Kernen. Die Installation ist über Shell-Skript, Paketmanager (Homebrew, Winget) oder vom Quellcode möglich.

Das Tool integriert sich mit dem Pi-Coding-Agent-Framework: Benutzer können `llama serve` ausführen, um ein Modell zu hosten, das pi-llama-Plugin installieren und Pi starten für automatische lokale Modellentdeckung ohne Konfigurationsaufwand. Unterstützte Modelle sind Qwen 3.6 (Alibabas multimodale Reasoning-Modelle), Gemma 4 und Gemma 3 (Googles quelloffene Modelle mit Unterstützung für über 140 Sprachen) und GPT-OSS (OpenAIs erste quelloffene Modelle seit GPT-2, optimiert für Reasoning und Function Calling).

Das Projekt richtet sich an einzelne Entwickler und Unternehmenscluster, die private, autonome KI-Inferenz ohne Vendor Lock-in suchen.