Das Facebook Reality Lab veröffentlicht in einer Studie eine effektive Methode zur digitalen Rekonstruktion von Spiegelbildern, die auf der anstehenden SIGGRAPH 2018 vorgeführt werden soll. Mit dem Einsatz einer speziellen Scan-Methode, 3D-Kameras und einem Algorithmus sollen dadurch, der problematischen Darstellung von Spiegeln und reflektierenden Oberflächen in 3D-Szenen entgegengewirkt werden. Bei dem Projekt war ebenso ein deutscher Professor der TU Darmstadt beteiligt.
Facebook Reality Lab – Forscher entwickeln Lösung zur digitalen Rekonstruktion von Spiegelbildern
Spiegel stellen zum aktuellen Stand der Forschung ein großes Problem für 3D-Scan-Systeme dar. Grund dafür ist, dass die geometrischen 3D-Objekte durch die reflektierenden Oberflächen fehlerhaft hinter dem Spiegel rekonstruiert werden, anstatt diese, wie gewünscht im Bild zu integrieren. Eine störende Fehlfunktion in der Praxis, denn Spiegel und Glasflächen sind ein fester Bestandteil vieler Räume.
Doch dafür soll es nun eine Lösung geben, wie Forscher des Facebook Reality Lab mit dem deutschen Gastprofessor Michael Goesele von der TU Darmstadt in einer Studie berichten. Demnach soll ein spezielles System für die Identifikation reflektierender Oberflächen sorgen, die dank eines Algorithmus ausgewertet und daraufhin in korrekter Geometrie gerendert werden.
Das Trägersystem besteht aus mehreren Kameras und einem AprilTag-Lokalisations-System, das normalerweise in der Robotik eingesetzt wird. Die neue Scan-Methode arbeitet mit einer Markierung, die während der Aufnahme spiegelnde Oberflächen innerhalb der Umgebung lokalisiert. Der Algorithmus erkennt und errechnet mit den Bewegungen der Markierung akkurat die Umrisse, Distanz und weitere relevante Daten des Spiegels, um diesen daraufhin zu rekonstruieren. Im nächsten Schritt werden die erfassten Tiefendaten entfernt, um sie durch einen 3D-Mesh zu ersetzen. Dieser wird daraufhin in einer realistische Umgebung rekonstruiert, wodurch die fehlerhaften 3D-Objekte hinter den Spiegeln verschwinden. Auch Doppelreflexionen und Spiegelungen von 3D-Objekten sind dadurch darstellbar.
Weitere Ergebnisse zu diesem Projekt sollen auf der SIGGRAPH 2018 vorgestellt werden.
(Quellen: Oculus Blog | Research Paper | Upload VR | Video: Oculus Youtube)