Kann Virtual Reality die Schnur durchtrennen?

Lassen Sie uns nicht auf den Mund nehmen: Ich bin von Valves neuem Virtual-Reality-Headset Valve und HTC bekannt gegeben, das ein neues VR-Headset bis Weihnachten 2015 vorlegen wird. Valve & HTC verkünden das neue VR-Headset bis Weihnachten 2015. Das neue VR-Headset von Valve ist das Beste, was die Welt je hat gesehen. Hat Oculus eine Chance? Weiterlesen .

Das Vive wurde in Zusammenarbeit mit HTC entwickelt und zeichnet sich durch eine perfekte Nachverfolgung Ihres Kopfes und zweier Controller, eine komfortable Auflösung von 2160 x 1200 und ein extrem scharfes 90-Hz-OLED-Display aus. Es erscheint in diesem Jahr und bietet interaktive VR-Erlebnisse, die ein dauerhaftes Gefühl körperlicher Präsenz in der virtuellen Szene vermitteln.

Um zu verstehen, wie gut das Tracking ist, sehen Sie sich dieses Video an “Die Gallerie,” ein VR-Spiel, das auf dem Vive gespielt wird.

Die Herausforderung der Free Roaming Virtual Reality

Das Vive ist fantastisch. Wenn Sie jedoch die Testberichte der Prototyp-Headsets lesen, die sich einlassen, bemerken Sie dies eine spezifische Beschwerde taucht immer wieder auf.

Venture Beat:

“Während meines Versuchs mit dem Prototypen trug ich einen Gürtel, um ein Bündel Schnüre aus dem Weg zu halten - und jetzt, wo ich darüber nachdenke, musste Valve jemanden mit mir herumgefahren haben, um sicherzugehen, dass ich über keine stolperte locker, dass ich geschaffen habe, als ich mich im Raum bewegte.”

PC MAG:

“Da es sich um ein vollständig interaktives Rundum-Erlebnis handelt, müssen Sie die Möbel aus der Mitte eines Raums entfernen und versuchen, nicht über das Kabel zu stolpern, das zum PC führt.”

Gizmodo:

“Und das ist wahrscheinlich die Hauptschwäche des HTC Vive. Es ist wie Die Matrix Das fühlt sich echt an, aber auch darin, dass Sie mit einem Kabel, das aus Ihrem Hinterkopf kommt, an einen PC angeschlossen sind. Dies wird gelegentlich Ihre Bewegungsfreiheit einschränken und ist (meiner Erfahrung nach) oft ein Stolperrisiko. Es ist nicht ein sehr großes Problem, aber trotzdem bemerkbar.”

Dies liegt zum einen daran, dass das Headset ein Prototyp mit fünf Kabeln ist (die Consumer-Version sollte nur ein USB-Kabel und ein HDMI-Kabel aufweisen, das das Headset mit dem PC verbindet). Das Problem scheint jedoch grundlegend für kabelgebundene Headsets zu sein, mit denen Sie frei laufen können. Schauen Sie sich den Oculus Rift Crescent Bay auf der CES 2015 an. Schauen Sie sich den Oculus Rift Crescent Bay an der CES 2015 an. Der Oculus Rift Crescent Bay ist ein brandneuer Prototyp Das zeigt einige aufregende Verbesserungen in der Virtual-Reality-Technologie. Wir probieren es auf der CES 2015 aus. Lesen Sie mehr. Schnüre sind eine Stolperfalle und auch nur eine Schande. Sie verhindern, dass Sie Ihr VR-Gerät aus dem Raum nehmen, geschweige denn aus dem Haus.

Dies wird zu einem größeren Problem, wenn wir VR als grundlegende Schnittstelle für unsere Betriebssysteme verwenden.

Wir hatten nicht lange PCs, bevor wir eine mobile Version der Erfahrung wollten (Laptops, Smartphones und Tablets). VR wird der gleiche Weg sein, insbesondere wenn wir beginnen, Augmented-Reality-Funktionen nach dem Vorbild von Microsoft HoloLens 8 Real-World-Einsatz für Microsoft HoloLens 8 Real-World-Einsatz für Microsoft-HoloLens zu integrieren. Microsoft HoloLens von Microsoft ist cool, aber was werden Sie eigentlich verwenden? es für? Wir haben die aufregendsten Möglichkeiten. Weiterlesen .

Leider stellt sich heraus, dass das Trennen von VR-Headsets von PCs eine große technologische Herausforderung darstellt, die wir immer noch nicht lösen können. Es gibt jedoch zwei vielversprechende Technologien, die zur Lösung des Problems beitragen könnten.

Lösung Nr. 1: PC-Streaming

Ein naheliegender Ansatz des Programms besteht darin, die virtuelle Welt über Ihren PC zu rendern und die gerenderten Bilder dann über WLAN zum Headset zu streamen (wie Steamlink, mit dem Spiele von Ihrem PC auf Ihren Fernseher gestreamt werden). Das Problem bei diesem Ansatz ist die Latenz. In der virtuellen Realität möchten Sie die Verzögerung zwischen der Bewegung und dem Sehen dieser Bewegung auf dem Bildschirm minimieren. Der Sweet-Spot liegt im Allgemeinen unter 20 Millisekunden.

Modernes Video-Streaming kann eine Latenzzeit von unter einer Millisekunde erreichen, was ein guter Anfang ist. Ein unkomprimierter 1440p-90-Hz-Videostream hat leider fast 8 Gigabit pro Sekunde an Daten. Consumer-WLAN-Router können etwa 100 Megabit verarbeiten. Selbst die High-End-Industrierouter haben ein Maximum von 800 Megabits, achtmal weniger als benötigt. Um dies zu beheben, müssen Sie die Bilder vor dem Senden komprimieren. Der Komprimierungs- und Dekomprimierungsprozess erhöht die Latenz um ca. 80 ms werden mach dich krank.

Es gibt einige mögliche Lösungen für dieses Problem:

Verbesserungen der Bandbreite

Ein Ansatz besteht darin, zu versuchen, die verfügbare Bandbreite zu erhöhen. 5G-Netze, die in fünf Jahren verfügbar sein werden, können Geschwindigkeiten von etwa einem Terabit pro Sekunde ermöglichen, wodurch futuristische 8K-HMDs ohne Komprimierung gehandhabt werden könnten. Kurzfristig könnte Li-Fi (eine auf schnell pulsierenden LEDs basierende Internettechnologie) Übertragungsgeschwindigkeiten von 10 GB / s bei sehr geringen Latenzzeiten ermöglichen, was drahtlose Versionen von VR-Headsets der aktuellen Generation in den nächsten Jahren ermöglichen würde. obwohl die Technologie den Verbrauchern noch nicht zur Verfügung steht.

Dies ist wahrscheinlich die beste Lösung für das Problem, aber es wird den Verbrauchern nicht für mindestens ein oder zwei Jahre zur Verfügung stehen, kann teuer sein und die Lösung wird wahrscheinlich hinter den drahtgebundenen High-End-Headsets zurückbleiben, bis die richtigen 5G-Netzwerke ankommen.

Lokales Warping

Eine komplexere Option wäre, die 80 ms Latenzzeit zu akzeptieren und danach zu versuchen, sie zu korrigieren, indem das alte Bild auf die neue Kopfposition verzerrt wird. Dies führt immer noch zu einer gewissen Eingangsverzögerung, jedoch nicht zu der übelriechenden Kopfbewegungsart.

Der Standardansatz für diese Art von Problem ist asynchroner Time-Warp-Vorgang, bei dem Daten vom PC erfasst und mit einer kleinen GPU auf dem Headset verzerrt werden, um das alte Bild aus einer neuen Perspektive anzuzeigen. Dadurch kann sich das Headset trotz der hohen Latenzzeit fließend aktualisieren.

Auf den ersten Blick klingt dies wie eine magische Kugel. Leider gibt es einige große Fänge. Um Michael Antonov, einen Oculus-Forscher, zu zitieren,

“Positions-Judder ist eines der augenfälligsten Artefakte, die nur zur Orientierung dienen. Wenn Sie Ihren Kopf bewegen, wird nur die zusätzliche Rotationskomponente in den von ATW erzeugten Bildern reflektiert, während alle Translationskopfbewegungen seit dem Rendern des Frames ignoriert werden. Das bedeutet, dass Sie, wenn Sie Ihren Kopf von einer Seite zur anderen bewegen oder auch nur Ihren Kopf drehen, wodurch Ihre Augen verschoben werden, bei Objekten, die sich in Ihrer Nähe befinden, ein Ruckeln mit mehreren Bildern zu sehen ist.

[…]

Ein möglicher Weg zur Beseitigung von Positionsschwankungen ist das Implementieren eines vollständigen Positions-Warping, bei dem sowohl die Übersetzung als auch die Ausrichtung der Ausrichtung auf den ursprünglich gerenderten Rahmen angewendet werden. Bei der Positionsverkrümmung muss die Tiefe des ursprünglich gerenderten Rahmens berücksichtigt werden, wodurch Teile des Bildes um unterschiedliche Beträge verschoben werden. Eine solche Verschiebung erzeugt jedoch an den Objektkanten Verdeckungsartefakte, in denen Bereiche des Raums freigelegt werden, in denen sich keine Daten im ursprünglichen Rahmen befinden.”

Es gibt verschiedene Techniken, um Daten zu erstellen, um die durch positionelle Zeitkorrektur geschaffenen Löcher zu füllen, aber alle hinterlassen Artefakte, und diejenigen, bei denen die wenigsten Artefakte übrig bleiben, sind am rechenintensivsten. Das Problem ist ähnlich zu dem, mit dem sich Personen konfrontiert sehen, die versuchen, VR-Tiefenvideo anzuzeigen. VR ist dabei, das Filmemachen für immer zu ändern: So ändert sich VR das Filmemachen für immer: Hier ist, wie virtuelle Realität eine neue Art der Kommunikation mit Ihrem Zuschauer und vielen Menschen ist Mit einem Hintergrund im traditionellen Filmemachen finden Sie die Möglichkeiten aufregend. Weiterlesen .

Um dieses Problem perfekt zu beheben, müssen Entwickler einen Weg finden, zusätzliche Daten zu übertragen, um die Löcher zu füllen. Einige mögliche Ansätze:

• Rendern Sie Fernfeld- und Nahfeldobjekte getrennt und streamen Sie beide Bilder
• Rendern Sie ein Lichtfeld, das durch große Kopfversätze ohne Ablösung wieder projiziert werden kann
• Entwickeln Sie extrem ausgefeilte Kopfbewegungsmodelle und verwenden Sie eine Vorhersage, um Disokklusionsfehler zu minimieren

Es ist nicht klar, was die beste Lösung hier ist. Keiner der Ansätze, die wir kennen, ist perfekt und einige erfordern mehr Forschung. Herauszufinden, ob eine Neuprojektion eine gute Idee ist, hängt davon ab, wie sehr wir die Artefakte minimieren können. Es ist eine vielversprechende Möglichkeit, aber es gibt viele unbeantwortete Fragen.

Lösung Nr. 2: Lokale Wiedergabe

Eine völlig andere Strategie besteht darin, den PC zu vergessen und das Rendern lokal auf dem Headset durchzuführen. So funktionieren Microsofts HoloLens und Samsungs Gear VR. Über die fünf Fragen zu HoloLens über das "Project HoloLens" von Microsoft ist wenig bekannt. Fünf Fragen über das "Project HoloLens" von Microsoft. Das neue Augmented Reality-Headset von Microsoft ist sehr aufregend - aber können sie die grundlegenden Probleme von AR lösen? Lesen Sie mehr, aber die Gear VR hat einige gravierende Einschränkungen. Seine mobile GPU kann mit bescheidenen VR-Erlebnissen umgehen (mit intensiver Optimierung), jedoch kaum. Das Wärmemanagement ist ein Problem, die Auflösung und die Bildwiederholfrequenz steigen nicht so stark an, wie dies für die Präsenz in der Szene erforderlich ist, und das Headset verfügt über keine Positionsverfolgung. Ein Teil davon ist auf die Einschränkungen der Mobilfunktechnologie zurückzuführen und wird sich bald verbessern, getragen von der Welle des Mooreschen Gesetzes.

Einige dieser Probleme sind jedoch darauf zurückzuführen, dass ein Smartphone entwickelt werden muss, das nicht für VR entwickelt wurde. Wenn Sie ein mobiles VR-Headset von Grund auf bauen, könnten Sie vieles anders machen. Designer könnten über zwei mobile GPUs der Spitzenklasse verfügen, einen Bildschirm mit sehr hoher Bildwiedergabe und einen großen Akku. Sie könnten auch Komponenten verteilen, um die Gewichtsverteilung und das Wärmemanagement zu verbessern. Der resultierende Formfaktor könnte dem Sony Morpheus sehr ähnlich sein.

Wenn die Ingenieure ehrgeizig sein wollten, könnten sie so etwas wie einen Mini-PC bauen: einen kleinen tragbaren Computerblock mit einer oder mehreren Laptop-GPUs, einem Lüfter und einer großen Batterie. Dieses Gerät hätte einen ähnlichen Formfaktor wie ein Walkman und würde ein HMD über ein einziges Kabel ansteuern.

Die derzeitige NVIDIA-Flaggschiff-GPU, die GTX 980, die Oculus intern verwendet, ist nur etwa 40% schneller als ihr mobiles Pendant, die 980M winzig. Es ist wahrscheinlich möglich, zwei von ihnen in eine Gürteltasche zu packen, und für den Rest eines kleinen mobilen PCs ist noch Platz.

Hinweis für Hardwareentwickler: Auf keinen Fall darf die Presse Ihr Produkt als "Fanny Pack" bezeichnen.

Dieser Formfaktor wäre chunkiger als ein in sich geschlossenes Headset, geschweige denn teuer - auf der Rückseite des Umschlags deuten die Zahlen auf einen Preis von etwa 2500 $ hin. Es ist möglich, dass moderne Verbraucher kein Interesse an unhandlichen Produkten haben. Dies ist jedoch der einzige Weg für ein mobiles VR-Headset, um eine mit PC VR konkurrenzfähige Leistung zu erbringen, und ich vermute, dass Hardcore-Gamer und andere irredeemables sich dafür einsetzen werden. Es gibt eine lange Geschichte von Nerds, die technologisch führend sind, indem sie bereit sind, Produkte zu tragen, die sie lächerlich machen.

Momentan leiden mobile Headsets unter der Unfähigkeit, eine Positionsverfolgung zu ermöglichen, was ein abscheuliches Gefühl verursacht, dass die Welt an Ihrem Körper befestigt ist, wenn Sie versuchen, sich zu bewegen. Dieses Problem kann jedoch bald gelöst werden. Kurzfristig ist Valve “Leuchtturm” Die Technologie der Positionsverfolgung ist eine großartige Lösung: Die Laserprojektoren sind dumm, dh sie können gefliest werden, um große Räume zu bedecken, und können gleichzeitig viele Geräte bedienen. In den nächsten Jahren könnte die Überwachung von Leuchttürmen zu einem kostengünstigen Service werden, der von Privathaushalten und Unternehmen angeboten wird, ähnlich wie heute WLAN, sodass Sie in den meisten Innenräumen mobile VR-Hardware verwenden können.

Längerfristig sollten sich Tiefenkameras in der Auflösung und im Geräuschpegel verbessern, und es sollte möglich sein, sie für die Positionsverfolgung mit ausreichender Genauigkeit einzusetzen, um ein Gefühl der VR-Präsenz zu vermitteln. Dies ermöglicht unabhängige VR-Produkte, die für den Einsatz im Freien und für Augmented Reality geeignet sind.

Die Zukunft der mobilen VR

Auf lange Sicht setzen mobile Headsets die VR-Technologie ein.

Wir können die Berechnungen von Moores Gesetz durchführen, indem wir herausfinden, wie viele Verdopplungen wir von der Bereitstellung fotorealistischer virtueller Welten auf mobilen Geräten entfernt sind. High-End-PCs sind vielleicht fünf Verdopplungen (eine andere Konsolengeneration), die fotorealistische Spielerlebnisse bei 1080p nicht bieten können. Für VR benötigen wir eine Verdoppelung für 3D und drei weitere für das 8K-pro-Auge, das erforderlich ist, um Unschärfen und den Effekt der Bildschirmtür zu beseitigen. Um der mobilen Plattform Rechnung zu tragen, benötigen wir etwa vier weitere Verdopplungen, um zu den High-End-PCs aufzuschließen.

Wenn Sie alle Verdopplungen addieren und sich mit den achtzehn Monaten multiplizieren, die das Moore'sche Gesetz vorschreibt, erhalten Sie ungefähr zwanzig Jahre (2035). Dies ist der Punkt, an dem niemand den Unterschied zwischen einer auf einem Smartphone und einer VR erstellten VR-Szene erkennen kann einer auf einem High-End-Gaming-PC. Zu diesem Zeitpunkt gibt es keinen Grund, jemals wieder ein PC-gesteuertes Headset zu verwenden.

Bis dieser Tag kommt, vermute ich, dass wir für eine Weile sowohl drahtgebundene als auch drahtlose VR-PC-gesteuerte VR-Headsets sehen werden. Drahtlose Headsets sind bequemer, drahtgebundene Headsets bieten jedoch eine bessere Auflösung - zumindest bis 5G-Netzwerke voll ausgereift sind.

Auf der anderen Seite der Kluft werden sich mobile Headsets weiter verbessern und Marktanteile vom PC abwerfen, während wir die Kurve der sinkenden Renditen weit genug nach oben schieben, und immer mehr Menschen sind bereit, ein geringes Maß an Flexibilität für Flexibilität zu opfern . Die Konkurrenz wird hart und für den Verbraucher hoffentlich gut sein. Ich persönlich kann es kaum erwarten.

Aufgeregt für drahtlose Headsets? Kennen Sie eine Technologie, die wir vermisst haben? Lass es uns in den Kommentaren wissen!

Bildnachweise: Barone Firenze via Shutterstock, “Isans Aufnahme… ”, von Edvvc, “Phubby,” von Kevin Lin, “HTC VR,” von HTC, “Steam Link,” von Valve, “Moores Gesetz,” von Wikimedia

Erfahren Sie mehr über: Virtual Reality.