DeepSeek-AI a publié DeepInfer dans un dépôt GitHub public sous licence Apache License 2.0. Le projet est présenté comme le framework d'inférence utilisé par les services de production haute performance de DeepSeek. Cette version met à disposition l'inférence hors ligne et les fonctions centrales nécessaires aux déploiements à grande échelle. Le dépôt affichait 5.3k étoiles et 398 forks.

export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py

Le seul modèle déclaré compatible est DeepSeek-V4.1-Flash. L'exécution parallèle prend en charge Attention DP et balanced CP. Les charges MoE utilisent EP + EPLB. Pour accélérer le décodage, DSpark associe des tokens candidats à une vérification planifiée selon la confiance estimée.

Le moteur propose un SWA bounded replay pour le préremplissage du décodeur et un ordonnanceur de lots asynchrone. Une inférence batch-invariant et un échantillonnage déterministe complètent l'ensemble. L'ordonnancement asynchrone est actif par défaut. Le mode batch-invariant demande DEEPINFER_BATCH_INVARIANT=1 et reste réservé à NVIDIA. L'échantillonnage déterministe exige en plus DEEPINFER_ENABLE_MTP_VARLEN=0 et un seq_seed fixe dans SamplingParams.

La couche de kernels s'appuie sur FlashMLA, DeepGEMM et DeepEP. Elle utilise également TileKernels, DeepSelect et des kernels TileLang personnalisés. DSpark est activé avec DEEPINFER_ENABLE_MTP_VARLEN=1. DEEPINFER_USE_NEXTN_DECODE fixe la longueur maximale du brouillon, avec une valeur par défaut de 5. La configuration V4.1 par défaut du replay SWA utilise DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact et DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140. Le suffixe conservé doit couvrir la fenêtre SWA et la longueur maximale de retour arrière.

Les sorties peuvent être limitées par une expression régulière. Le framework accepte aussi les schémas JSON et les grammaires EBNF avec so_args={"schema_type": ..., "schema": ...} dans SamplingParams.

DeepInfer fonctionne sur les GPU NVIDIA SM100 et les NPU Huawei Ascend 950. La compilation demande Linux, GCC >= 13.0 et Python 3.12. Les systèmes NVIDIA nécessitent CUDA 13, les systèmes Ascend CANN 9.2. Le projet recommande un environnement Python 3.12 vide, puis le choix de nvidia ou ascend via DEEPINFER_ACCELERATOR avant l'exécution de build.sh.

Le checkpoint par défaut, deepseek-ai/DeepSeek-V4.1-Flash-1017, est téléchargé dans le cache Hugging Face au premier lancement. Une copie locale peut être utilisée avec DEEPINFER_HF_MODEL_DIR. L'inférence hors ligne se lance avec python examples/offline_inference.py. Les mesures de performance ont utilisé 4 GPU SM100 pour le préremplissage et 64 pour le décodage, chaque test restant dans un même domaine de montée en charge. Le script run_sweep.sh permet de reproduire ces mesures. Les instructions d'évaluation se trouvent dans eval/README.md.

Un service d'inférence complet doit encore intégrer un système de cache KV. La dissociation VE/Prefill/Decode et l'équilibrage de charge entre réplicas data-parallel pour le préremplissage comme pour le décodage ne sont pas fournis. Le dépôt précise que la plupart des fonctions essentielles du moteur sont déjà présentes. DeepInfer a été construit principalement à partir de vLLM, avec des apports supplémentaires de SGLang et TensorRT-LLM. La citation du projet indique DeepSeek-AI comme auteur et 2026 comme année de publication.