Fem frågor om Microsofts "Project HoloLens"

Annons

Onsdag morgon visade Microsoft upp ett projekt som de har arbetat med i sju år, ett augmented reality-headset Projekt HoloLens.

Visionen är ambitiös: de vill förändra det sätt på vilket människor interagerar med datorer bygga ett glasögon som flytande kan blanda virtuellt och verkligt innehåll tillsammans i det fysiska utrymmet användaren. Det här är som virtual reality-teknik Varför Virtual Reality Technology kommer att blåsa ditt sinne om 5 årFramtiden för virtual reality inkluderar spårning av huvud, ögon och uttryck, simulerad beröring och mycket mer. Dessa fantastiska tekniker kommer att finnas tillgängliga om fem år eller mindre. Läs mer , men i grunden kraftfullare. Dessutom vill de göra all behandling lokalt på glasögonen - ingen dator, ingen telefon, inga kablar. De lanserar till och med en speciell version av Windows bara för den nya hårdvaran. Detta är nästa steg i teknologisk utveckling för alla AR-spel Augmented Reality-appar: användbara eller bara hype? MakeUseOf-tester

2011 förutspådde analytiker ökningen av Augmented Reality-mobilappar. Den framväxande tekniken skulle revolutionera hur vi interagerar med våra mobila enheter. Flash två år framåt och dussintals AR-appar fyller alla ... Läs mer du installerade på din telefon en gång och inte har berört sedan.

Deras tidsram är ännu mer ambitiös än deras mål: de vill skicka utvecklarpaket i vår, och konsumentprodukten "under Windows 10-tidsramen". Här är planen.

Allt detta låter bra, men jag medger en ganska hög grad av skepsis.

Teknologierna som Microsoft använder har allvarliga, grundläggande utmaningar, och hittills har Microsoft varit väldigt snygga om hur (eller om) de har löst dem. Om de inte har löst dem, är deras mål att leverera inom ett år mycket angeläget. Det sista som VR och AR behöver är ett stort företag som levererar ytterligare en halvbakad produkt som Kinect. Kom ihåg Projekt Natal-demo från 2009?

Utan vidare, här är de fem viktigaste sakerna jag skulle vilja veta om HoloLens.

Är detta en ljusfältvisning?

För att förstå den här måste vi titta lite djupare in i 3D och hur det fungerar. För att få känslan av en verklig, konkret 3D-värld integrerar våra hjärnor mycket olika typer av information. Vi får djupkod om världen på tre primära sätt:

• Stereodjup - skillnaden mellan vad båda våra ögon ser. Att följa detta är hur 3D-filmer fungerar
• Rörelseparallax - subtila rörelser i vårt huvud och överkropp ger oss ytterligare djupkoder för föremål som är längre bort
• Optiskt fokus - när vi fokuserar på något, deformeras våra ögon linser fysiskt tills det kommer i fokus; nära-fältobjekt kräver mer linsförvrängning, vilket ger djupinformation om vad vi tittar på

Optisk fokus är lätt att kolla in själv: stäng det ena ögat och håll tummen upp framför en vägg tvärs över rummet. Skift sedan ditt fokus från miniatyren till ytan bakom den. När du tittar förbi tummen förflyttas tummen ur fokus eftersom ögatlinsen nu är mindre deformerad och inte korrekt kan samla upp det ljus som kommer från det.

VR-headset som Oculus Rift ger de två första signalerna extremt exakt, men inte de sista, vilket fungerar förvånande Tja: våra ögon är vanliga att koppla av helt, eftersom optiken fokuserar bilderna genom ljuset kom oändligt långt bort. Bristen på den optiska fokusen är orealistisk, men den stör inte vanligtvis. Du kan fortfarande ha väldigt coola spelupplevelser 5 Oculus Rift-spelupplevelser som kommer att blåsa dig bortNu när den andra generationen av Oculus Rift-utvecklingspaketet är ute och i utvecklarnas händer över hela världen, låt oss titta på några av de bästa sakerna som hittills har slagit Rift. Läs mer utan det.

I den förstärkta verkligheten är problemet annorlunda, eftersom du måste blanda ljus från verkliga och virtuella objekt. Ljuset från den verkliga världen kommer naturligtvis att fokuseras på olika djup. Det virtuella innehållet kommer emellertid att vara fokuserat på ett fast, konstgjort avstånd som dikterats av optiken - antagligen på oändligheten. Virtuella objekt ser inte ut som om de verkligen är en del av scenen. De kommer att vara i fokus när du tittar på riktiga saker på samma djup och vice versa. Det kommer inte att vara möjligt att flytta ögat flytande över scenen medan du håller det i fokus, som du gör normalt. De motstridiga djupkodarna kommer i bästa fall att vara förvirrande och sjuka i värsta fall.

För att fixa detta behöver du något som kallas en ljusfältdisplay. Ljusfältskärmar är skärmar som använder en rad små linser för att visa ljus fokuserat på många djup samtidigt. Detta gör att användaren kan fokusera naturligt på skärmen och (för förstärkt verklighet) löser problemet som beskrivs ovan.

Det finns emellertid ett problem: ljusfältet visar i huvudsak en enda 2D-skärm på ett tredimensionellt ljusfält, vilket innebär att varje "djup" pixel ”som användaren uppfattar (och existerar på ett visst fokusdjup i scenen) består faktiskt av ljus från många pixlar på originalet visa. Ju finare djup du vill skildra, desto mer upplösning måste du ge upp.

I allmänhet har ljusa fält ungefär en åtta-faldigt upplösning minskar för att ge tillräcklig djupprecision. De bästa tillgängliga mikrodisplayen har en upplösning på cirka 1080p. Om man antar en avancerad mikrodisplay som kör varje öga skulle det göra den verkliga upplösningen av Microsofts headset endast cirka 500 x 500 pixlar per öga, mindre jämn än Oculus Rift DK1. Om skärmen har ett högt synfält är virtuella objekt obegripliga pixlar. Om det inte gör det, kommer nedsänkning lida proportionellt. Vi får faktiskt aldrig se genom linsen (bara datoråter skapelser av vad användaren ser), så vi har ingen aning om hur användarupplevelsen verkligen är.

Det är möjligt att Microsoft har kommit med någon ny lösning på detta problem, för att tillåta användning av en ljusfältdisplay utan upplösning. Microsoft har emellertid varit väldigt kär med sin displayteknik, vilket får mig att misstänka att de inte har gjort det. Här är den bästa förklaringen vi har hittills (från TRÅDBUNDEN demo).

För att skapa Project HoloLens bilder, studs ljuspartiklar miljoner gånger i den så kallade ljusmotorn på enheten. Sedan kommer fotonerna in i glasögons två linser, där de ricochetterar mellan lager av blått, grönt och rött glas innan de når baksidan av ögat.

Denna typ av beskrivning av tekniken kan betyda praktiskt taget vad som helst (men i rättvisa för Microsoft imponerade hårdvaran WIRED, även om artikeln var lätt på detaljer).

Vi vet inte mer säkert förrän Microsoft börjar släppa tekniska specifikationer, antagligen månader från och med nu. Är det verkligen nödvändigt att dränka projektet i detta mycket marknadsföringsprat på en ytterligare anmärkning om nitplockning? Den dedikerade processor som de använder för huvudspårning kallas en "holografisk processor" och bilderna kallas "hologram", utan någon särskild anledning. Produkten är i grunden tillräckligt cool att det verkligen inte är nödvändigt att förgylla den så här.

Är spårningen bra nog?

Project HoloLens headset har en hög FOV-djupkamera monterad på den (som Kinect), som den använder för att räkna ut var headsetet är i rymden (genom att försöka anpassa djupbilden det ser med sin världsmodell, sammansatt från tidigare djup bilder). Här är deras live-demonstration av headsetet i aktion.

Spårningen är imponerande med tanke på att den inte använder några markörer eller andra fusk, men även i den videon (under kraftigt kontrollerade förhållanden), kan du se en viss wobble: spårningen är inte helt stabil. Det kan förväntas: den här typen av inifrån och ut är spårning extremt svår.

Men den stora lektionen från olika Oculus Rift-prototyper Se oss prova Oculus Rift Crescent Bay vid CES 2015Oculus Rift Crescent Bay är en helt ny prototyp som visar upp några spännande förbättringar inom virtual reality-tekniken. Vi testar det på CES 2015. Läs mer är att noggrannheten i spårning betyder mycket. Jittery-spårning är bara irriterande när det är några få föremål i en i stort sett stabil verklig värld, men i scener som Mars-demoen de visade i sitt koncept video, där nästan allt du ser är virtuellt, upassande spårning kan leda till brist på "närvaro" i den virtuella scenen, eller till och med simulator sjukdom. Kan Microsoft få spårningen upp till den standard som Oculus har satt (under millimeter spårningsnoggrannhet och mindre än 20 ms total latens) vid deras leveransdatum i slutet av detta år?

Här är Michael Abrash, en VR-forskare som har arbetat för både Valve och Oculus, pratar om problemet

[Eftersom det alltid finns en försening i att generera virtuella bilder, [...] är det mycket svårt att få virtuella och verkliga bilder att registrera sig noggrant så att ögat inte märker det. Anta till exempel att du har en riktig koksburk som du vill förvandla till en AR Pepsi-burk genom att rita en Pepsi-logotyp över Coke-logotypen. Om det tar dussintals millisekunder att rita om Pepsi-logotypen, blir varje effekt du roterar huvudet Pepsi-logotypen verkar växla några grader relativt burk, och en del av Coke-logotypen kommer att bli synlig; då knäpps Pepsi-logotypen tillbaka till rätt plats när du slutar flytta. Detta är uppenbarligen inte tillräckligt bra för hård AR

Kan skärmen rita svart?

En annan fråga tillsammans med fokusdjup och spårning har att göra med att dra mörka färger. Att lägga till mer ljus till en scen är relativt enkelt med hjälp av stråldelare. Att ta ut ljus är mycket svårare. Hur mörknar du selektivt delar av den verkliga världen? Att sätta upp en selektiv transparent LCD-skärm klipper inte den, eftersom den inte alltid kan vara i rätt fokus för att blockera det du tittar på. De optiska verktygen för att lösa detta problem, om inte Microsoft har uppfunnit dem i hemlighet, finns helt enkelt inte.

Det här betyder, för många applikationer som Microsoft visar upp (som att titta på Netflix på din vägg) behöver headsetet verkligen möjligheten att ta bort ljuset som kommer från väggen, annars kommer din film alltid att ha ett synligt stuckaturmönster överlagrat med det: det kommer att vara omöjligt för bilder att blockera verkliga objekt i scenen, vilket gör användningen av headsetet starkt beroende av den omgivande belysningen betingelser. Tillbaka till Michael Abrash:

[S] o hittills har inget sådant dykt upp i AR-industrin eller litteraturen, och såvida och inte tills det gör det, kan hård AR, i SF-meningen att vi alla känner och älskar, inte hända, utom i nära mörker.

Det betyder inte att AR är utanför bordet, bara det för en stund ändå kommer det att vara mjukt AR, baserat på tillsatsblandning [...] Tänk igen genomskinligt som "Ghostbusters." Högintensiva virtuella bilder utan mörka områden fungerar också, särskilt med hjälp av regional eller global mörkare - de ser bara inte ut som en del av det verkliga värld.

Hur är det med ocklusion?

"Ocklusion" är termen för vad som händer när ett objekt passerar framför ett annat och hindrar dig från att se vad som ligger bakom det. För att virtuellt landskap ska känns som en påtaglig del av världen är det viktigt att verkliga objekt tilltäcker virtuella föremål: om du håller handen framför en bit virtuell bild bör du inte kunna se den genom din hand. På grund av användningen av en djupkamera på headsetet är detta faktiskt möjligt. Men se live demo igen:

I stort sett kontrollerar de noggrant kameravinklarna för att undvika riktiga föremål som passerar framför virtuella. Men när demonstranten interagerar med Windows-menyn kan du se att hennes hand inte slår till den alls. Om detta är utanför deras teknik räcker det, det är ett mycket dåligt tecken på deras konsumentprodukts livskraft.

Och talar om det UI ...

Är detta verkligen det slutliga användargränssnittet?

Användargränssnittet som Microsoft visade upp i sina demofilmer verkar fungera med hjälp av en kombination av blick och hand spårning för att styra en markör i den virtuella scenen, medan du använder röstkontroller för att välja mellan olika alternativ. Detta har två stora nackdelar: det får dig att se ut som det lilla barnet i Shining som pratar med fingret, men ännu viktigare, det representerar också ett fundamentalt felaktigt designparadigm.

Historiskt sett har de bästa användargränssnitten varit de som ger fysiska intuitioner om världen in i den virtuella världen. Musen kom med klickning, dra och fönster. Pekgränssnittet förde svep för att bläddra och klämma för att zooma. Båda dessa var avgörande för att göra datorer mer tillgängliga och användbara för allmänheten - eftersom de i grund och botten var mer intuitiva än vad som kom förr.

VR och AR ger dig mycket mer frihet som designer: du kan placera UI-element var som helst på ett 3D-utrymme och låta användarna interagera med dem naturligt, som om de var fysiska objekt. Ett stort antal uppenbara metaforer föreslår sig själva. Tryck på ett virtuellt UI-element för att välja det. Kläm fast den och ta upp den och flytta den. Skjut den ur vägen för att lagra den tillfälligt. Krossa den för att ta bort den. Du kan tänka dig att bygga ett användargränssnitt som är så fullständigt intuitivt att det inte kräver någon förklaring. Något som din mormor omedelbart kan plocka upp, eftersom det är byggt på en grund av fysiska grundläggande intuitioner som alla bygger upp under en livstid av interaktion med världen. Ta en minut och lyssna på den här smarta personen beskriva vilka uppslukande gränssnitt som kan vara.

Med andra ord verkar det uppenbart (för mig) att ett uppslukande användargränssnitt ska vara åtminstone lika intuitivt som beröringsgränssnitten pionjär av iPhone för 2D multitouch-skärmar. Att bygga ett gränssnitt kring att manipulera en VR-”mus” är ett steg bakåt och avslöjar antingen djup teknisk brister i deras handspårningsteknologi eller en grundläggande missförstånd av det som är intressant med det här nya medium. Hur som helst, det är ett mycket dåligt tecken för att denna produkt är mer än en kolossal, Kinect-skala.

Förhoppningsvis har Microsoft tid att få feedback om detta och göra ett bättre jobb. Som exempel är här ett gränssnitt designat av en hobbyist för Oculus Rift DK2 och Leap Motion. Ett uppslukande användargränssnitt utformat av ett stort företag borde åtminstone vara så bra.

Ett tecken på saker som kommer

Som helhet är jag extremt skeptisk till HoloLens-projektet som helhet. Jag är mycket glad över att ett företag med Microsofts resurser undersöker det här problemet, men jag är bekymrad över att de är det försöker rusa ut en produkt utan att lösa några kritiska underliggande tekniska problem eller spika ned ett bra användargränssnitt paradigm. HoloLens är ett tecken på saker som kommer, men det betyder inte att produkten i sig kommer att ge en bra upplevelse för konsumenterna.

Bildkredit: med tillstånd av Microsoft