Das Neurotechnologie Start-up-Unternehmen MindMaze entwickelt derzeit einen kostengünstigen Ansatz zum Face-Tracking. Der Name des Projekts lautet MASK, welches mit jedem VR-Headset kompatibel sein soll. Dadurch könnten zukünftige Avatare realitätsnahe Gesichtsausdrücke auf dem Avatar innerhalb der Virtual Reality sichtbar sein.
MASK überträgt Gesichtsausdrücke in die Virtual Reality
Face-Tracking in der virtuellen Realität ist wesentlich komplizierter als in anderen Bereichen, da die VR-Brillen stets einen großen Teil des Gesichts verdecken. Deshalb setzen die Entwickler von MindMaze auf eine andere Methode: Sie verwenden kostengünstige Elektroden auf der Schaumstoffpolsterung der VR-Headsets, um die elektrischen Signale aufzunehmen, die beim Bewegen der Gesichtsmuskeln entstehen.
Diese auf dem Gesicht aufliegenden Elektroden können lediglich elektrische Impulse aufnehmen. Insgesamt acht Elektroden sind im Prototyp auf der Polsterung des VR-Headsets verteilt. Diese senden acht verschiedene Datenströme an den Computer. Laut CEO von MindMaze Tej Tadi ist die hierfür verwendete Hardware sehr günstig. Dadurch werden die Herstellungskosten eines Headsets nicht wesentlich teurer. Jedoch ist die nötige Software zur Interpretation des Inputs kompliziert. Das Unternehmen entwickelte einen Algorithmus, der die Daten aus den Elektroden ausliest und in Gesichtsausdrücke extrahiert.
Der Prototyp scheint bisher gut zu funktionieren, denn sämtliche Gesichtsausdrücke, wie lächeln, zwinkern und Stirn runzeln scheinen problemlos auf den Avatar übertragen zu werden. Insgesamt ist er bisher in der Lage 10 verschiedene Gesichtszüge zu repräsentieren. Die speziellen und einzigartigen Gesichtszüge, die den verschiedenen Individuen zu eigen sind, kann er derzeit jedoch noch nicht übertragen.
Trotz der gut funktionierenden Übertragung sind jedoch noch einige Verbesserungen nötig, da der Prototyp auch teilweise falsche Interpretationen liefert. Der verwendete Algorithmus soll jedoch in der Lage zu sein, die Bewegungen desselben Nutzers mit der Zeit zu lernen und entsprechend zuverlässiger zu werden, je länger man ihn verwendet. Wir dürfen uns also über weitere Verbesserungen innerhalb des Bereichs des Face-Trackings freuen und können vielleicht bald sämtliche Emotionen und Gesichtsausdrücke in die Virtual Reality verlagern.
(Quellen: RoadtoVR | MindMaze)