DeepSeek-AI hat DeepInfer als öffentliches GitHub-Repository unter der Apache License 2.0 veröffentlicht. Das Projekt wird als Inferenz-Framework hinter den leistungsstarken Produktionsdiensten von DeepSeek beschrieben. Die Veröffentlichung konzentriert sich auf Offline-Inferenz und auf die Kernfunktionen für große Deployments. Das Repository zeigte 5.3k Sterne und 398 Forks.

terminal
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py

Als unterstütztes Modell ist derzeit nur DeepSeek-V4.1-Flash angegeben. Die Parallelisierung umfasst Attention DP und balanced CP. Für MoE-Workloads stehen EP + EPLB bereit. Bei der Decodierung kombiniert DeepInfer DSpark mit confidence-scheduled verification. Dabei werden Entwurfstokens und Konfidenzwerte für die Prüfplanung verwendet.

Die Laufzeit bietet SWA bounded replay für das Decoder-Prefill und einen asynchronen Batch-Scheduler. Batch-invariante Inferenz und deterministisches Sampling ergänzen das Angebot. Der Scheduler ist standardmäßig aktiv. Batch-invariante Inferenz setzt DEEPINFER_BATCH_INVARIANT=1 voraus und funktioniert nur auf NVIDIA. Für deterministisches Sampling müssen zusätzlich DEEPINFER_ENABLE_MTP_VARLEN=0 und ein festes seq_seed in SamplingParams gesetzt werden.

Die Kernel-Schicht verwendet FlashMLA, DeepGEMM und DeepEP. Dazu kommen TileKernels, DeepSelect und eigene TileLang-Kernel. DSpark wird mit DEEPINFER_ENABLE_MTP_VARLEN=1 aktiviert. DEEPINFER_USE_NEXTN_DECODE begrenzt die Zahl der Entwurfstokens, standardmäßig auf 5. Für SWA-Replay verlangt die V4.1-Standardkonfiguration DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact und DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140. Das aufbewahrte Suffix muss das SWA-Fenster und die maximale Rücksprunglänge abdecken.

Ausgaben lassen sich per regulärem Ausdruck begrenzen. JSON-Schema und EBNF-Grammatiken werden über so_args={"schema_type": ..., "schema": ...} in SamplingParams unterstützt.

DeepInfer läuft auf NVIDIA-SM100-GPUs und Huawei-Ascend-950-NPUs. Für den Build werden Linux, GCC >= 13.0 und Python 3.12 benötigt. NVIDIA-Systeme brauchen CUDA 13, Ascend-Systeme CANN 9.2. Vor dem Build soll eine leere Python-3.12-Umgebung angelegt werden. Danach wird DEEPINFER_ACCELERATOR auf nvidia oder ascend gesetzt und build.sh ausgeführt.

Der Standard-Checkpoint deepseek-ai/DeepSeek-V4.1-Flash-1017 landet beim ersten Start im Hugging-Face-Cache. Eine lokale Kopie kann über DEEPINFER_HF_MODEL_DIR gewählt werden. Die Offline-Inferenz startet mit python examples/offline_inference.py. Für die Leistungsmessungen wurden 4 SM100-GPUs beim Prefill und 64 beim Decode eingesetzt, jeweils innerhalb einer Scale-up-Domain. run_sweep.sh reproduziert die Benchmarks. Die Evaluationsanleitung liegt in eval/README.md.

Für einen vollständigen Inferenzdienst fehlen noch ein KV-Cache-System, die VE/Prefill/Decode-Aufteilung und Load-Balancing über Data-Parallel-Replikate für Prefill und Decode. Laut Repository ist der größte Teil der erforderlichen Engine-Funktionalität bereits enthalten. DeepInfer basiert hauptsächlich auf vLLM und greift zusätzlich auf Ideen aus SGLang und TensorRT-LLM zurück. Die Zitation nennt DeepSeek-AI als Autor und 2026 als Jahr der Veröffentlichung.