Scene Dreamer - 3D scenes from images - TAAFT

SceneDreamer ist ein neuartiges KI-Tool für die Synthese unbeschränkter 3D-Szenen aus 2D-Bildsammlungen. Es verwendet ein unbedingtes generatives Modell, das Rauschsignale in grosskalige 3D-Szenen transformiert, ohne dass 3D-Annotationen erforderlich sind. SceneDreamer verwendet eine effektive Lernmethode, die eine effiziente 3D-Szenen-Interpretation mit einer generativen Szenen-Parametrisierung und einer effektiven Rendering-Fähigkeit kombiniert, die Wissen aus 2D-Bildern übersetzt. Die 3D-Szenendarstellung beginnt mit einer effizienten Vogelperspektive, die aus Simplex-Rauschen stammt. Diese Darstellung besteht aus einem Höhenfeld, das die Oberflächenerhebung von 3D-Szenen anzeigt, und einem semantischen Feld, das detaillierte Szenen-Semantik liefert. Dies bietet eine entkoppelte Geometrie und Semantik und ermöglicht effizientes Training. SceneDreamer nutzt dann ein generatives neuronales Hash-Grid, um den latenten Raum zu parametrisieren, wobei 3D-Positionen und Szenen-Semantik berücksichtigt werden. Die finale Ausgabe ist ein photorealistisches Bild, das von einem neuronalen volumetrischen Renderer produziert wird, der aus 2D-Bildsammlungen gelernt hat. Dieses Tool ist effektiv bei der Generierung lebendiger und vielfältiger unbeschränkter 3D-Landschaften, wie durch umfangreiche Experimente bezeugt. Ausserdem ermöglicht SceneDreamer nahtlose Kameramobilität für realistische Renderings und dynamische Szenenvisualisierung.