❦The Daily Commit❦ ☾The Nightly Build☽

DeepSeek-AI ha publicado DeepInfer en un repositorio público de GitHub con licencia Apache License 2.0. El proyecto se presenta como el framework de inferencia que sustenta los servicios de producción de alto rendimiento de DeepSeek. Esta versión ofrece inferencia offline y las funciones principales necesarias para despliegues a gran escala. El repositorio mostraba 5.3k estrellas y 398 forks.

export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py

El único modelo indicado como compatible es DeepSeek-V4.1-Flash. La ejecución paralela cubre Attention DP y balanced CP. Para las cargas MoE se utilizan EP + EPLB. DSpark acelera la decodificación con tokens candidatos y una verificación programada a partir de estimaciones de confianza.

El motor incorpora SWA bounded replay para reducir el trabajo de prefill del decodificador y un planificador de lotes asíncrono. La inferencia batch-invariant y el muestreo determinista completan el conjunto. La planificación asíncrona viene activada por defecto. La inferencia batch-invariant requiere DEEPINFER_BATCH_INVARIANT=1 y solo está disponible en NVIDIA. El muestreo determinista añade DEEPINFER_ENABLE_MTP_VARLEN=0 y un seq_seed fijo en SamplingParams.

La capa de kernels integra FlashMLA, DeepGEMM y DeepEP. También incluye TileKernels, DeepSelect y kernels personalizados de TileLang. DSpark se activa con DEEPINFER_ENABLE_MTP_VARLEN=1. DEEPINFER_USE_NEXTN_DECODE establece la longitud máxima de los tokens candidatos, con un valor predeterminado de 5. La configuración V4.1 predeterminada para SWA replay usa DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact y DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140. El sufijo conservado debe cubrir la ventana SWA y la longitud máxima de retroceso.

Las salidas generadas pueden limitarse mediante una expresión regular. DeepInfer acepta esquemas JSON y gramáticas EBNF a través de so_args={"schema_type": ..., "schema": ...} en SamplingParams.

DeepInfer admite GPU NVIDIA SM100 y NPU Huawei Ascend 950. La compilación requiere Linux, GCC >= 13.0 y Python 3.12. En NVIDIA se necesita CUDA 13; en Ascend, CANN 9.2. El proyecto pide crear un entorno Python 3.12 vacío, elegir nvidia o ascend con DEEPINFER_ACCELERATOR y ejecutar build.sh.

El checkpoint predeterminado, deepseek-ai/DeepSeek-V4.1-Flash-1017, se descarga en la caché de Hugging Face durante el primer arranque. Una copia local puede seleccionarse con DEEPINFER_HF_MODEL_DIR. La inferencia offline se inicia mediante python examples/offline_inference.py. Las mediciones de rendimiento usaron 4 GPU SM100 para prefill y 64 para decode, siempre dentro de un mismo dominio de escalado. run_sweep.sh permite reproducir esos benchmarks. Las instrucciones de evaluación están en eval/README.md.

Un servicio de inferencia completo todavía necesita un sistema de caché KV. La disgregación VE/Prefill/Decode y el balanceo de carga entre réplicas data-parallel para prefill y decode no forman parte de esta versión. El repositorio afirma que ya está implementada la mayor parte de la funcionalidad necesaria del motor. DeepInfer se construyó principalmente sobre vLLM, con aportes adicionales de SGLang y TensorRT-LLM. La cita del proyecto identifica a DeepSeek-AI como autor y 2026 como año de publicación.