TheModelDesk

Der Entwickler ZimengXiong hat Modelr veröffentlicht, eine Open-Source-Anwendung für macOS und iOS zur lokalen Bild-zu-3D-Generierung. Die App basiert auf einem Swift-MLX- und Python-Port von Hunyuan3D-Paint und Hunyuan3D-Shape, der speziell für Apple Silicon optimiert wurde, um den Overhead von PyTorch oder CPU-Verarbeitung zu vermeiden.

Benchmarks auf einem M4 Max mit FP16-Präzision zeigen, dass das kleine Hunyuan3D-Shape-Modell in 20,9 Sekunden bei etwa 5,6 GB RAM Ergebnisse liefert, während die große Version 22,3 Sekunden benötigt und circa 7,3 GB RAM beansprucht. Aufwendigere Paint-Operationen (RGB und PBR) benötigen deutlich mehr Zeit und Speicher, mit Spitzenwerten von bis zu 39 GB.

Um die Gerätekompatibilität zu erhöhen, unterstützt das Modell eine Q4- oder Q8-Quantisierung, wodurch der Betrieb auf älteren Macs und iPhones ermöglicht wird. Der Workflow der App umfasst den Bildimport, die Hintergrundentfernung via SwiftVision sowie die Echtzeit-Übertragung von Diffusion und Texturierung.

Sowohl die Modelr-App als auch die zugrunde liegenden Gewichte und der Quellcode (unter Hunyuan3D-Swift) sind auf GitHub open-source verfügbar, sodass Entwickler die schnelle 3D-Generierung mit geringem Speicherbedarf in eigene Swift-Anwendungen integrieren können.