Es wird wohl noch etwas dauern, bis Magic Leap ein fertiges Produkt auf den Markt bringt. Während wir warten, betreiben wir uns die Zeit mit einem Papier zum Tracking, das die Entwickler jetzt veröffentlicht haben. Sie beschreiben, wie sie das Problem SLAM in den Griff bekommen wollen. Dafür setzen sie auf zwei Deep-Learning-Einheiten, mit der sich die Geometrie im Raum konsistent in Echtzeit erfassen lässt.
Magic Leap: Zwei AIs machen SLAM
SLAM steht für Simultaneous Localization and Mapping (übersetzt: Simultane Lokalisierung und Kartenerstellung) und beschreibt die Aufgabe, den eigenen Standort exakt im Raum zu bestimmen und gleichzeitig eine Karte der Umgebung zu erstellen. Dabei setzt man klassischerweise auf Marker. Der Begriff stammt zwar aus der Robotik und beschreibt ein Problem, das zum Beispiel Staubsaugerroboter zu lösen haben, lässt sich aber auch auf den Träger von AR-Brillen übertragen.
Deep Learning mit MagicPoint und MagicWarp
Die Magic-Leap-Entwickler Daniel DeTone, Tomasz Malisiewicz und Andrew Rabinovich haben das Papier Toward Geometric Deep SLAM veröffentlicht, in dem sie ihre Lösung für das SLAM-Problem vorstellen. Dabei durchlaufen die Bilder der Headset-Kamera zwei Phasen: Das Deep-Learning-Netz MagicPoint analysiert das Bild und setzt 2D-Punkte fest, mit der die AI die Geometrie im Raum beschreibt. Für die räumliche Auswertung ist das zweite Netzwerk zuständig, das die Entwickler MagicWarp nennen. Es untersucht mehrere Bilder und muss beispielsweise unterscheiden können, ob sich Objekte im Raum bewegen oder sich der Anwender bewegt.
Laut Entwicklern schaffen es die Algorithmen, die Berechnungen quasi in Echtzeit mit mehr als 30fps auf nur einem Chip auszuführen, womit der Weg frei wäre für den Einsatz in einem mobilen AR-Headset. Dass Deep Learning für das Tracking in AR-Headsets sinnvoll ist, hat auch Microsoft erkannt: Der zweite zentrale Chip der HoloLens enthält eine eigene AI-Einheit für das Tracking der Hände.
Erst Ende Mai konnte sich Magic Leap eine weitere Finanzierungsrunde sichern und seinen Wert auf 6 bis 8 Milliarden US-Dollar steigern. Zwar haben einige Stars einen Prototyp der AR-Brille bereits ausprobieren können, Bilder der Hardware sind aber ebenso wenig aufgetaucht wie etwa technische Spezifikationen. Wann das Unternehmen ein fertiges Produkt vorweisen wird, ist also noch völlig unklar.
(Quelle: RoadToVR, Entwickler-PDF)