Herramientas
llama.cpp: Ejecutar modelos open-weight localmente sin APIs
llama.cpp es una plataforma de inferencia de código abierto que ejecuta grandes modelos de lenguaje directamente en hardware local—laptops, computadoras de escritorio o clusters—sin llamadas API, telemetría o dependencias externas. El proyecto soporta diverso hardware desde Apple Silicon hasta GPUs NVIDIA y AMD con núcleos optimizados para cada plataforma.
llama.cpp es un motor de inferencia ligero de código abierto que ejecuta grandes modelos de lenguaje en hardware del usuario sin dependencias en la nube. El proyecto ha acumulado más de 123.500 estrellas en GitHub y proporciona un binario único que se ejecuta en plataformas heterogéneas: Apple Silicon (M1–M Ultra), GPUs NVIDIA (RTX 3090, RTX 4090, RTX 5090, A100, H100), tarjetas AMD Radeon y MI-series, Intel Arc, variantes Google TPU, dispositivos NVIDIA Jetson edge y CPUs estándar.
Las características clave incluyen ejecución local sin costo (sin claves API, sin telemetría), retención de modelos y datos de conversación en la máquina del usuario, y compatibilidad multiplataforma con núcleos GPU y CPU optimizados manualmente. La instalación está disponible mediante script de shell, gestores de paquetes (Homebrew, Winget) o desde la fuente.
La herramienta se integra con el framework de agente de codificación Pi: los usuarios pueden ejecutar `llama serve` para alojar un modelo, instalar el plugin pi-llama e iniciar Pi para descubrimiento automático de modelos locales sin configuración. Los modelos soportados incluyen Qwen 3.6 (modelos de razonamiento multimodal de Alibaba), Gemma 4 y Gemma 3 (modelos de código abierto de Google con soporte para más de 140 idiomas), y GPT-OSS (primeros modelos open-weight de OpenAI desde GPT-2, optimizados para razonamiento y llamada de funciones).
El proyecto se dirige tanto a desarrolladores individuales como a clusters empresariales que buscan inferencia IA privada y autónoma sin dependencia de proveedores.
Tribuna de lectores
Aún no hay aportaciones — abre el debate.
Inicia la conversación
Sin cuenta ni contraseña — introduce tu correo y te enviamos un enlace de acceso de un solo uso. ¿Primera vez? Todo se configura automáticamente.
Tu valoración se aplicará automáticamente al iniciar sesión.
Revisa tu bandeja de entrada
Hemos enviado un enlace de acceso a …. Ábrelo en este dispositivo — esta pestaña te conectará automáticamente.
¿No llega nada? Mira en la carpeta de spam — y marca el correo como «No es spam» para que la próxima vez llegue directo.