Fünf Fragen zu Microsofts Project HoloLens

Mittwoch morgen zeigte Microsoft ein Projekt, an dem sie seit sieben Jahren arbeiten, ein Augmented-Reality-Headset Projekt HoloLens.

Die Vision ist ehrgeizig: Sie möchten die Art und Weise, wie Menschen mit Computern interagieren, grundlegend verändern, indem sie eine Brille bauen, die virtuelle und reale Inhalte im physischen Raum des Benutzers fließend mischen kann. Dies ist wie eine Virtual-Reality-Technologie. Warum Virtual Reality-Technologie Sie in 5 Jahren umhauen wird Warum Virtual-Reality-Technologie Sie in 5 Jahren umhauen wird Die Zukunft von Virtual Reality umfasst die Kopf-, Augen- und Ausdrucksverfolgung, simulierte Berührung und vieles mehr. Diese erstaunlichen Technologien stehen Ihnen in 5 Jahren oder weniger zur Verfügung. Lesen Sie mehr, aber grundsätzlich leistungsfähiger. Außerdem möchten sie die gesamte Verarbeitung lokal auf der Brille erledigen - kein Computer, kein Telefon, keine Kabel. Sie starten sogar eine spezielle Windows-Version nur für die neue Hardware. Dies ist die nächste Stufe in der technologischen Entwicklung für alle diese Augmented Reality-Apps für AR-Spiele: Nützlich oder einfach nur Hype? MakeUseOf testet Augmented Reality Apps: Nützlich oder einfach nur Hype? MakeUseOf-Tests Analysten prognostizierten 2011 den Aufstieg der Augmented Reality-Apps für Mobilgeräte. Die aufkommende Technologie würde die Art und Weise, wie wir mit unseren mobilen Geräten interagieren, revolutionieren. Flash um zwei Jahre vorwärts und Dutzende von AR-Apps bevölkern alle… Lesen Sie mehr, die Sie auf Ihrem Telefon installiert haben und seitdem nicht mehr berührt haben.

Ihr Zeitrahmen ist noch ehrgeiziger als ihre Ziele: Sie wollen im Frühjahr Entwickler-Kits und das Verbraucherprodukt versenden “während des Windows 10-Zeitrahmens”. Hier ist die Tonhöhe.

Das hört sich alles gut an, aber ich gebe zu, dass die Skepsis ziemlich hoch ist.

Die Technologien, die Microsoft verwendet, stellen ernste, grundlegende Herausforderungen dar. Bisher hat Microsoft sehr genau gesagt, wie (oder ob) sie sie gelöst haben. Wenn sie sie nicht gelöst haben, ist ihr Ziel, innerhalb eines Jahres zu versenden, sehr besorgniserregend. Das letzte, was VR und AR brauchen, ist ein großes Unternehmen, das ein anderes halbgebackenes Produkt wie das Kinect liefert. Denken Sie an die Project Natal-Demo von 2009?

Hier sind die fünf wichtigsten Dinge, die ich über die HoloLens wissen möchte.

Ist dies eine Leuchtfeldanzeige?

Um diese zu verstehen, müssen wir ein wenig tiefer in 3D und seine Funktionsweise schauen. Um das Gefühl einer echten, greifbaren 3D-Welt zu erhalten, integrieren unsere Gehirne viele verschiedene Arten von Informationen. Wir erhalten drei grundlegende Hinweise zur Welt:

• Stereo Tiefe - die Ungleichheit zwischen dem, was unsere beiden Augen sehen. Vorgetäuscht, so funktionieren 3D-Filme
• Bewegungsparallaxe - subtile Bewegungen unseres Kopfes und Torsos geben uns zusätzliche Tiefenhinweise für weiter entfernte Objekte
• Optischer fokus - Wenn wir uns auf etwas konzentrieren, verformen sich die Augenlinsen physisch, bis sie scharfgestellt werden. Nahfeldobjekte erfordern eine stärkere Linsenverzerrung, die ausführliche Informationen über das, was wir betrachten, liefert

Der optische Fokus lässt sich leicht überprüfen: Schließen Sie ein Auge und halten Sie Ihren Daumen vor einer Wand quer durch den Raum. Verschieben Sie dann Ihren Fokus von der Miniaturansicht auf die dahinterliegende Oberfläche. Wenn Sie über Ihren Daumen schauen, wird der Daumen unscharf, weil die Augenlinse jetzt weniger deformiert ist und das von ihr kommende Licht nicht richtig auffangen kann.

VR-Headsets wie das Oculus Rift liefern die ersten beiden Signale äußerst genau, aber nicht das letzte, was überraschend gut klappt: Unsere Augen entspannen sich vollständig, da die Optik die Bilder fokussiert, da das Licht aus unendlich weitem Licht kommt. Das Fehlen des optischen Fokus-Hinweises ist unrealistisch, stört aber normalerweise nicht. Sie können immer noch sehr coole Spielerlebnisse haben. 5 Oculus Rift Spielerfahrungen, die Sie umhauen werden 5 Oculus Rift Spielerlebnisse, die Sie umhauen werden Jetzt, da die zweite Generation des Oculus Rift-Entwicklungskits verfügbar ist und in der Hand von Entwicklern auf der ganzen Welt ist, Schauen wir uns einige der besten Sachen an, die den Rift bisher getroffen haben. Lesen Sie mehr ohne.

In Augmented Reality ist das Problem ein anderes, weil Sie Licht aus realen und virtuellen Objekten mischen müssen. Das Licht aus der realen Welt wird natürlich in verschiedenen Tiefen fokussiert. Der virtuelle Inhalt wird jedoch alle auf einen festen, von der Optik diktierten Abstand fokussiert - wahrscheinlich auf unendlich. Virtuelle Objekte sehen nicht so aus, als wären sie wirklich Teil der Szene. Sie werden unscharf, wenn Sie reale Dinge in derselben Tiefe betrachten und umgekehrt. Es ist nicht möglich, Ihr Auge flüssig über die Szene zu bewegen, während Sie es wie gewohnt im Fokus behalten. Die widersprüchlichen Tiefenhinweise werden bestenfalls verwirrend sein und im schlimmsten Fall krank machen.

Um dies zu beheben, benötigen Sie eine so genannte Lichtfeldanzeige. Lichtfeldanzeigen sind Anzeigen, die eine Reihe winziger Linsen verwenden, um Licht, das in vielen Tiefen gleichzeitig fokussiert ist, anzuzeigen. Dies ermöglicht dem Benutzer, sich auf die Anzeige zu konzentrieren und löst (für Augmented Reality) das oben beschriebene Problem.

Es gibt jedoch ein Problem: Lichtfelddarstellungen bilden im Wesentlichen einen einzelnen 2D-Bildschirm auf ein dreidimensionales Lichtfeld ab, das heißt, jeder “Tiefenpixel” das der Benutzer wahrnimmt (und in einer bestimmten Brennweite in der Szene vorhanden ist), besteht tatsächlich aus Licht von vielen Pixeln auf der ursprünglichen Anzeige. Je feiner die Tiefe, die Sie darstellen möchten, desto mehr Auflösung müssen Sie aufgeben.

Im Allgemeinen haben Lichtfelder ein achtfach Auflösung verringern, um eine ausreichende Tiefengenauigkeit zu erzielen. Die besten verfügbaren Mikrodisplays haben eine Auflösung von etwa 1080p. Angenommen, ein High-End-Mikrodisplay, das jedes Auge antreibt, würde die tatsächliche Auflösung von Microsofts Headset nur etwa 500 x 500 Pixel pro Auge ausmachen, sogar weniger als der Oculus Rift DK1. Wenn das Display ein hohes Sichtfeld hat, sind virtuelle Objekte unverständliche Pixelflecken. Wenn nicht, wird das Untertauchen proportional leiden. Wir können nie wirklich durch die Linse sehen (nur Computerreproduktionen dessen, was der Benutzer sieht), so dass wir keine Ahnung haben, wie die Benutzererfahrung wirklich ist.

Möglicherweise hat Microsoft eine neuartige Lösung für dieses Problem gefunden, um die Verwendung einer Lichtfeldanzeige ohne Kompromisse bei der Auflösung zu ermöglichen. Microsoft war jedoch hinsichtlich seiner Display-Technologie äußerst zurückhaltend, was mich vermuten lässt, dass dies nicht der Fall ist. Hier ist die beste Erklärung, die wir bis jetzt (von der VERDRAHTET Demo).

Um die Bilder von Project HoloLens zu erstellen, prallen Lichtteilchen in der sogenannten Light Engine des Geräts Millionen von Malen ab. Dann dringen die Photonen in die beiden Linsen der Brille ein, wo sie zwischen blauen, grünen und roten Glasschichten abprallen, bevor sie den hinteren Teil des Auges erreichen.

Diese Art der Beschreibung der Technologie könnte praktisch alles bedeuten (obwohl die Hardware aus Fairness für Microsoft WIRED beeindruckte, obwohl der Artikel nur leichte Details enthielt).

Wir werden nicht mehr sicher wissen, bis Microsoft technische Spezifikationen veröffentlicht, wahrscheinlich in wenigen Monaten. Ist es auf einer weiteren Anmerkung von "nit picking" wirklich notwendig, das Projekt in so viel Marketing-Sprache zu ertränken? Der dedizierte Prozessor, den sie für die Kopfverfolgung verwenden, wird als a bezeichnet “holographischer Prozessor” und die Bilder werden aufgerufen “Hologramme,” ohne besonderen Grund. Das Produkt ist grundsätzlich cool genug, dass es wirklich nicht nötig ist, es so zu vergolden.

Ist das Tracking gut genug??

Auf dem Project HoloLens-Headset ist eine Kamera mit hohem Sichtfeld (wie das Kinect) montiert, mit der sich herausfinden lässt, wo sich das Headset im Weltraum befindet (indem versucht wird, das Tiefenbild, das es mit seinem Weltmodell sieht, in einer Reihe zusammenzusetzen von früheren Tiefenbildern). Hier ist ihre Live-Demo des Headsets in Aktion.

Das Tracking ist beeindruckend, da es keine Marker oder andere Cheats verwendet, aber selbst in diesem Video (unter streng kontrollierten Bedingungen) können Sie ein gewisses Maß an Wackeln feststellen: Das Tracking ist nicht vollständig stabil. Das ist zu erwarten: Diese Art von Inside-Out-Tracking ist extrem schwierig.

Die große Lektion aus den verschiedenen Oculus Rift-Prototypen. Watch Us Testen Sie den Oculus Rift Crescent Bay auf der CES 2015 Schauen Sie uns testen Sie den Oculus Rift Crescent Bay auf der CES 2015 Der Oculus Rift Crescent Bay ist ein brandneuer Prototyp, der einige aufregende Verbesserungen zeigt Virtual-Reality-Technologie. Wir probieren es auf der CES 2015 aus. Lesen Sie mehr, dass die Genauigkeit der Nachverfolgung sehr wichtig ist. Jittery Tracking ist nur ärgerlich, wenn es sich um wenige Objekte in einer weitgehend stabilen realen Welt handelt. In Szenen wie der Mars-Demo, die sie in ihrem Konzeptvideo gezeigt haben, in dem fast alles, was Sie sehen, virtuell ist, könnte ein ungenaues Tracking dazu führen “Gegenwart” in der virtuellen Szene oder sogar Simulatorkrankheit. Kann Microsoft das Tracking bis zu dem von Oculus festgelegten Standard erhalten (Sub-Millimeter-Tracking-Genauigkeit und Gesamtlatenz von weniger als 20 ms)??

Hier ist Michael Abrash, ein VR-Forscher, der sowohl für Valve als auch für Oculus gearbeitet hat und über das Problem spricht

[Da es immer eine Verzögerung bei der Erzeugung von virtuellen Bildern gibt, […] ist es sehr schwierig, virtuelle und reale Bilder genau genug zu registrieren, damit das Auge es nicht bemerkt. Angenommen, Sie haben eine echte Cola-Dose, die Sie in eine AR-Pepsi-Dose verwandeln möchten, indem Sie ein Pepsi-Logo über das Coke-Logo ziehen. Wenn Dutzende von Millisekunden benötigt werden, um das Pepsi-Logo neu zu zeichnen, wird der Effekt jedes Mal, wenn Sie Ihren Kopf drehen, so, dass sich das Pepsi-Logo gegenüber der Dose um einige Grad zu verschieben scheint und ein Teil des Coke-Logos sichtbar wird. Das Pepsi-Logo rastet dann an der richtigen Stelle ein, wenn Sie aufhören, sich zu bewegen. Dies ist offensichtlich nicht gut genug für harte AR

Kann das Display schwarz zeichnen?

Ein weiteres Problem neben Brennweite und Nachführung betrifft das Zeichnen dunkler Farben. Das Hinzufügen von mehr Licht zu einer Szene ist mit Strahlteilern relativ einfach. Licht herauszunehmen ist viel schwieriger. Wie verdunkeln Sie selektiv Teile der realen Welt? Wenn Sie einen selektiv transparenten LCD-Bildschirm aufstellen, wird er nicht abgeschnitten, da er nicht immer den richtigen Fokus hat, um das, was Sie betrachten, zu blockieren. Die optischen Tools zur Lösung dieses Problems gibt es einfach nicht, es sei denn, Microsoft hat sie heimlich erfunden.

Das ist wichtig, denn für viele Anwendungen, die Microsoft vorführt (wie z. B. das Betrachten von Netflix an der Wand), muss das Headset wirklich die Fähigkeit haben, das von der Wand kommende Licht zu entfernen, oder Ihr Film wird sonst immer mit einem sichtbaren Stuckmuster überlagert Damit ist es für Bilder unmöglich, reale Objekte in der Szene auszublenden, wodurch die Verwendung des Headsets stark von den Umgebungslichtbedingungen abhängig ist. Zurück zu Michael Abrash:

Bislang ist nichts dergleichen in der AR-Industrie oder -Literatur aufgetaucht, und es sei denn, es sei denn, hartes AR im Sinne des SF, das wir alle kennen und lieben, kann nur in der Dunkelheit geschehen.

Das bedeutet nicht, dass AR nicht vom Tisch ist, nur für eine Weile, aber es wird ein weiches AR sein, basierend auf additiver Mischung […] “Geisterjäger.” Virtuelle Bilder mit hoher Intensität ohne dunkle Bereiche funktionieren ebenfalls, insbesondere mit Hilfe der regionalen oder globalen Verdunkelung - sie sehen einfach nicht als Teil der realen Welt aus.

Was ist mit Okklusion??

“Okklusion” ist der Begriff für das, was passiert, wenn ein Objekt vor einem anderen vorbeigeht und Sie daran hindern, zu sehen, was dahinter steht. Damit sich eine virtuelle Szenerie wie ein fühlbarer Teil der Welt anfühlt, ist es für reale Objekte wichtig, virtuelle Objekte zu verschließen: Wenn Sie Ihre Hand vor ein Stück virtueller Bilder halten, sollten Sie sie nicht durchschauen können deine Hand. Aufgrund der Verwendung einer Tiefenkamera am Headset ist dies tatsächlich möglich. Aber schau dir die Live-Demo noch einmal an:

Im Großen und Ganzen kontrollieren sie die Kamerawinkel sorgfältig, um zu verhindern, dass reale Objekte vor virtuellen Objekten vorbeiziehen. Wenn der Demonstrator jedoch mit dem Windows-Menü interagiert, können Sie sehen, dass seine Hand sie überhaupt nicht verschließt. Wenn dies für ihre Technologie nicht erreichbar ist, ist dies ein sehr schlechtes Zeichen für die Durchführbarkeit ihrer Verbraucherprodukte.

Und von dieser Benutzeroberfläche sprechen ...

Ist dies wirklich die endgültige Benutzeroberfläche?

Die von Microsoft in ihren Demovideos gezeigte Benutzeroberfläche scheint zu funktionieren, indem sie den Cursor in der virtuellen Szene mit einer Kombination aus Blick- und Hand-Tracking steuert und mit Sprachsteuerelementen zwischen verschiedenen Optionen auswählt. Dies hat zwei Hauptnachteile: Es lässt Sie wie das kleine Kind im Shining aussehen, das mit dem Finger spricht, aber noch wichtiger ist, dass es ein grundlegend fehlerhaftes Design-Paradigma darstellt.

In der Vergangenheit waren die besten Benutzeroberflächen diejenigen, die physische Intuitionen über die Welt in die virtuelle Welt einbringen. Die Maus brachte das Klicken, Ziehen und Fenster. Touch-Oberfläche brachte Wischen zum Scrollen und Prise zum Zoomen. Beides war entscheidend, um Computer für die allgemeine Bevölkerung zugänglicher und nützlicher zu machen - weil sie grundsätzlich intuitiver waren als zuvor.

VR und AR bieten Ihnen als Designer viel mehr Freiheit: Sie können UI-Elemente an beliebiger Stelle in einem 3D-Raum platzieren und die Benutzer können auf natürliche Weise mit ihnen interagieren, als wären sie physische Objekte. Eine große Anzahl offensichtlicher Metaphern liegt nahe. Berühren Sie ein virtuelles Oberflächenelement, um es auszuwählen. Klemme daran, nimm es und bewege es. Schieben Sie es zur zeitweiligen Aufbewahrung aus dem Weg. Zerstöre es, um es zu löschen. Sie können sich vorstellen, eine Benutzeroberfläche zu erstellen, die so intuitiv ist, dass sie keiner Erklärung bedarf. Etwas, das Ihre Großmutter sofort aufgreifen kann, weil sie auf einer Grundlage grundlegender physischer Intuitionen basiert, die jeder im Laufe seines Lebens in der Interaktion mit der Welt aufbaut. Nehmen Sie sich eine Minute Zeit und hören Sie dieser intelligenten Person zu, wie sie die immersiven Schnittstellen beschreiben könnte.

Mit anderen Worten, es scheint mir offensichtlich, dass eine umfassende Benutzeroberfläche sein sollte wenigstens So intuitiv wie die Touch-Oberflächen, die das iPhone für 2D-Multitouch-Bildschirme entwickelt hat. Erstellen einer Schnittstelle zum Bearbeiten einer VR “Maus” ist ein Rückschritt und enthüllt entweder tiefgehende technologische Mängel in der Hand-Tracking-Technologie oder ein grundlegendes Missverständnis darüber, was an diesem neuen Medium interessant ist. In jedem Fall ist es ein sehr schlechtes Zeichen dafür, dass dieses Produkt mehr ist als ein gewaltiger Flop im Kinect-Maßstab.

Hoffentlich hat Microsoft Zeit, Feedback zu erhalten und bessere Arbeit zu leisten. Hier ein Beispiel, das von einem Hobbyisten für den Oculus Rift DK2 und den Leap Motion entworfen wurde. Eine umfassende Benutzeroberfläche, die von einem großen Unternehmen entworfen wurde, sollte mindestens so gut sein.

Ein Zeichen für kommende Dinge

Insgesamt bin ich dem HoloLens-Projekt insgesamt äußerst skeptisch. Ich bin sehr froh, dass ein Unternehmen, das über Microsoft-Ressourcen verfügt, dieses Problem untersucht. Ich bin jedoch besorgt, dass sie versuchen, ein Produkt aus dem Verkehr zu ziehen, ohne einige kritische zugrunde liegende technische Probleme zu lösen oder ein gutes UI-Paradigma zu benennen. Die HoloLens ist ein Zeichen für das, was kommen wird, aber das bedeutet nicht, dass das Produkt selbst den Verbrauchern eine gute Erfahrung bieten wird.

Bildnachweis: Mit freundlicher Genehmigung von Microsoft

Erfahren Sie mehr über: Augmented Reality, Microsoft, Virtual Reality.