llama.cpp es un motor de inferencia ligero de código abierto que ejecuta grandes modelos de lenguaje en hardware del usuario sin dependencias en la nube. El proyecto ha acumulado más de 123.500 estrellas en GitHub y proporciona un binario único que se ejecuta en plataformas heterogéneas: Apple Silicon (M1–M Ultra), GPUs NVIDIA (RTX 3090, RTX 4090, RTX 5090, A100, H100), tarjetas AMD Radeon y MI-series, Intel Arc, variantes Google TPU, dispositivos NVIDIA Jetson edge y CPUs estándar.

Las características clave incluyen ejecución local sin costo (sin claves API, sin telemetría), retención de modelos y datos de conversación en la máquina del usuario, y compatibilidad multiplataforma con núcleos GPU y CPU optimizados manualmente. La instalación está disponible mediante script de shell, gestores de paquetes (Homebrew, Winget) o desde la fuente.

La herramienta se integra con el framework de agente de codificación Pi: los usuarios pueden ejecutar `llama serve` para alojar un modelo, instalar el plugin pi-llama e iniciar Pi para descubrimiento automático de modelos locales sin configuración. Los modelos soportados incluyen Qwen 3.6 (modelos de razonamiento multimodal de Alibaba), Gemma 4 y Gemma 3 (modelos de código abierto de Google con soporte para más de 140 idiomas), y GPT-OSS (primeros modelos open-weight de OpenAI desde GPT-2, optimizados para razonamiento y llamada de funciones).

El proyecto se dirige tanto a desarrolladores individuales como a clusters empresariales que buscan inferencia IA privada y autónoma sin dependencia de proveedores.