TheModelDesk

Xiaomi lanzó MiMo-V2.5-DFlash en Hugging Face, un modelo de lenguaje de 300 mil millones de parámetros con optimización DFlash para una velocidad de inferencia mejorada. El lanzamiento incluye pesos DFlash dedicados almacenados en un directorio separado junto a los archivos de modelo estándar, permitiendo a los desarrolladores probar la variante optimizada.

Según reportes iniciales de usuarios, el modelo MiMo-V2.5 base logra 8–10 tokens por segundo en tarjetas gráficas duales de 24 GB con descarga de RAM DDR5 de 96–128 GB. Se espera que la optimización DFlash duplice aproximadamente este rendimiento, haciendo el modelo sustancialmente más práctico para implementaciones en hardware de consumidor.

El lanzamiento también incluye un modelo MTP (Multi-Token Prediction) separado, abordando problemas de implementación previos. Mientras que los heads MTP compartidos anteriormente no funcionaban correctamente en llama.cpp debido a dificultades para identificar capas MTP, el modelo MTP independiente podría ofrecer mejor compatibilidad con marcos de inferencia existentes. DFlash debería funcionar en herramientas actuales, proporcionando una ganancia de rendimiento inmediata para usuarios que buscan inferencia más rápida en sistemas locales.