TheModelDesk

Xiaomi a publié MiMo-V2.5-DFlash sur Hugging Face, un modèle de langage de 300 milliards de paramètres intégrant l'optimisation DFlash pour une vitesse d'inférence améliorée. La version inclut des poids DFlash dédiés stockés dans un répertoire séparé aux côtés des fichiers de modèle standard, permettant aux développeurs de tester la variante optimisée.

Selon les rapports initiaux des utilisateurs, le modèle MiMo-V2.5 de base atteint 8–10 jetons par seconde sur des cartes graphiques double 24 Go avec déchargement RAM DDR5 de 96–128 Go. L'optimisation DFlash devrait doubler approximativement ce débit, rendant le modèle considérablement plus pratique pour les déploiements sur matériel grand public.

La version inclut également un modèle MTP (Multi-Token Prediction) séparé, résolvant les problèmes de mise en œuvre antérieurs. Tandis que les têtes MTP précédemment partagées ne fonctionnaient pas correctement dans llama.cpp en raison de difficultés d'identification des couches MTP, le modèle MTP autonome pourrait offrir une meilleure compatibilité avec les frameworks d'inférence existants. DFlash lui-même devrait fonctionner dans les outils actuels, offrant un gain de performance immédiat aux utilisateurs cherchant une inférence plus rapide sur les systèmes locaux.