TheModelDesk

Le développeur ZimengXiong a lancé Modelr, une application open source pour macOS et iOS permettant la génération locale de modèles 3D à partir d'images. L'application s'appuie sur un port Swift-MLX et Python de Hunyuan3D-Paint et Hunyuan3D-Shape, optimisé pour Apple Silicon afin de supprimer la surcharge liée à PyTorch ou au processeur (CPU).

Les tests de performance sur un M4 Max en précision FP16 indiquent que le petit modèle Hunyuan3D shape génère un résultat en 20,9 secondes avec environ 5,6 Go de RAM, tandis que la version large prend 22,3 secondes pour environ 7,3 Go de RAM. Les opérations de peinture plus complexes (RGB et PBR) sont plus gourmandes, atteignant environ 39 Go de mémoire.

Grâce à la quantification Q4 ou Q8, le modèle peut également fonctionner sur des Mac plus anciens et sur iPhone. Le flux de travail de l'application comprend l'importation d'images, la suppression de l'arrière-plan via SwiftVision, ainsi que le streaming en temps réel de la diffusion et de la texturation.

L'application Modelr ainsi que les poids et le code source (disponibles sous le nom Hunyuan3D-Swift) sont publiés en open source sur GitHub, permettant aux développeurs d'intégrer cette technologie de génération 3D rapide et légère dans leurs propres applications Swift.