TheModelDesk

Xiaomi hat MiMo-V2.5-DFlash auf Hugging Face veröffentlicht, ein 300-Milliarden-Parameter-Sprachmodell mit DFlash-Optimierung für verbesserte Inferenzgeschwindigkeit. Die Veröffentlichung umfasst dedizierte DFlash-Gewichte in einem separaten Verzeichnis neben den Standard-Modelldateien, sodass Entwickler die optimierte Variante testen können.

Based auf ersten Berichten von Nutzern erreicht das Basis-Modell MiMo-V2.5 eine Geschwindigkeit von 8–10 Token pro Sekunde auf dualen 24-GB-Grafikkarten mit 96–128 GB DDR5-RAM-Offloading. Die DFlash-Optimierung soll diesen Durchsatz ungefähr verdoppeln und das Modell damit wesentlich praktischer für Consumer-Hardware-Implementierungen machen.

Die Veröffentlichung enthält auch ein separates MTP-Modell (Multi-Token Prediction), das bisherige Implementierungsprobleme adressiert. Während zuvor freigegebene MTP-Heads in llama.cpp nicht ordnungsgemäß funktionieren wegen Schwierigkeiten bei der Erkennung von MTP-Schichten, könnte das eigenständige MTP-Modell bessere Kompatibilität mit bestehenden Inferenz-Frameworks bieten. DFlash selbst wird voraussichtlich in aktuellen Tools funktionieren und einen unmittelbaren Leistungsgewinn für Nutzer ermöglichen, die schnellere Inferenz auf lokalen Systemen anstreben.