TRELLIS 2

TRELLIS.2 ist ein Open-Source-Bild-zu-3D-Modell-Generator, der hochwertige texturierte Assets mit nativen 3D-VAEs erzeugt. Seine Kernfunktion nutzt native und kompakte strukturierte Latents und bietet damit zugleich hohe Wiedergabetreue und Kompressionsfähigkeit. Die Methode kann komplexe Strukturen verarbeiten, darunter offene Oberflächen, nicht-mannigfaltige Geometrie und eingeschlossene Innenstrukturen, und überwindet damit die Grenzen von Iso-Surface-Feldern. TRELLIS.2 kann außerdem beliebige Oberflächenattribute modellieren, etwa Base Color, Roughness, Metallic und Opacity, und erleichtert damit Physically Based Rendering (PBR) und fotorealistisches Relighting. Dieses Tool optimiert Vor- und Nachverarbeitung der Daten für Training und Inferenz und erlaubt schnelle Konvertierungen, die ohne Rendering und Optimierung auskommen. Es nutzt 'O-Voxel', eine neuartige feldfreie, sparse Voxelstruktur, die darauf ausgelegt ist, detaillierte Geometrie und komplexes Erscheinungsbild gleichzeitig zu kodieren. Eine Sparse-Compression-VAE-Komponente komprimiert die Voxeldaten effizient und packt vollständig texturierte 3D-Assets in eine kompakte Repräsentation mit minimaler wahrnehmbarer Einbuße. Das ermöglicht effiziente groß angelegte generative Modellierung. Erwähnenswert ist, dass TRELLIS.2 rein ein Forschungsprojekt ist, bei dem Responsible-AI-Überlegungen in alle Entwicklungsstufen eingeflossen sind.