TheModelDesk

El desarrollador ZimengXiong ha lanzado Modelr, una aplicación de código abierto para macOS e iOS que permite la generación local de modelos 3D a partir de imágenes. La herramienta se basa en un port de Swift-MLX y Python de Hunyuan3D-Paint y Hunyuan3D-Shape, optimizado para Apple Silicon para eliminar la sobrecarga de PyTorch o el uso de la CPU.

Las pruebas de rendimiento en un M4 Max con precisión FP16 muestran que el modelo pequeño de Hunyuan3D shape genera resultados en 20,9 segundos con unos 5,6 GB de RAM, mientras que la versión grande tarda 22,3 segundos y utiliza unos 7,3 GB. Las operaciones de pintura más intensivas (RGB y PBR) requieren más tiempo y memoria, alcanzando picos de 39 GB.

Para ampliar la compatibilidad, el modelo admite cuantización Q4 y Q8, lo que permite su ejecución en Macs antiguos e iPhones. El flujo de trabajo de la aplicación incluye la importación de imágenes, la eliminación del fondo mediante SwiftVision y la visualización en tiempo real de la difusión y el texturizado.

Tanto la aplicación Modelr como los pesos y el código fuente (disponibles en Hunyuan3D-Swift) son de código abierto en GitHub, facilitando que otros desarrolladores integren la generación 3D rápida y de bajo consumo de memoria en sus propias aplicaciones Swift.