Entwicklerstudio Owlchemy Labs (bekannt für Job Simulator) präsentierten kürzlich eine innovative Methode, um als Zuschauer mit VR-Spieler/innen innerhalb ihrer virtuellen Umgebung zu kommunizieren und interagieren. Mit dem der experimentellen App Mobile Spectator soll die Barriere zwischen realer und digitaler Welt zukünftig per Smartphone und ARCore durchbrochen werden.
Owlchemy Lab – Experimentelle AR-App Mobile Spectator Camera erlaubt Interaktion zwischen virtueller und realer Welt
Die Interaktion zwischen den Spieler/innen mit VR-Brille und ihrer Umwelt erweist sich bekanntlich als eher schwierig. Ein Umstand, welchem Owlchemy Labs mit dem Mobile Spectator entgegentreten möchte. Die AR-App ermöglicht es den Bildschirminhalt der VR-Brille auf das Smartphone zu übertragen und umgekehrt.
Dafür setzten die Devs bei der Entwicklung der App auf den ARCore. Das Ganze funktioniert folgendermaßen: Die App trackt die entsprechende Position des Smartphones sowie der VR-Brille im Raum. Durch die Smartphone-Kamera werden anschließend beide physischen Positionen miteinander synchronisiert.
Per WLAN werden die Daten zwischen Smartphone und PC übertragen, verarbeitet sowie codiert und zurückgeschickt. Dadurch wird ein Live-Video-Feed auf beiden Geräten erstellt, wodurch auch innerhalb der VR eine zusätzliche Kamera-Szene hinzugefügt wird. Der Phone-Nutzer erhält dabei in der echten Welt Einblicke in die virtuelle Welt, während der VR-Nutzer die Sicht des Smartphone-Nutzers angezeigt bekommt.
Nachdem die Grundlage aufgestellt war, bauten die Entwickler/innen zusätzliche Funktionen ein. So ist das Erstellen eines Screenshots möglich und der Zuschauer kann per Knopfdruck Bälle auf den VR-Spieler werfen. Das Projekt basiert auf dem kommenden VR-Titel Vacation Simulator und nutzt das dazugehörige Avatar-System zur Ausführung. Ein In-Game-Avatar ist zudem nötig, um eine Interaktion zwischen den Parteien überhaupt zu ermöglichen.
Dennoch besteht Optimierungsbedarf. Aufgrund des zusätzlichen Renderings sowie des Encodings entstehen hohe Performance-Anforderungen an den PC. Auch das Smartphone ist durch das simultane Ausführen des ARCores sowie des Encodierens des Videos zusätzlich gefordert. Und ebenso sind Verzögerungen aufgrund einer hohen Latenz spürbar.
Owlchemy Labs kündigt jedoch an, das Projekt fortzusetzen und die bisherigen Baustellen in Kürze anzugehen. Ob das Feature auch im kommenden Vacation Simulator integriert wird, bleibt vorerst abzuwarten.
(Quellen: Owlchemy Labs)
Podcast: Play in new window | Download