Alex Kipman weet heel goed wat hardware is. Sinds hij 16 jaar geleden bij Microsoft kwam, was hij de belangrijkste uitvinder van meer dan honderd patenten, waaronder de baanbrekende XboxKinect-bewegingsdetectietechnologie, die de weg vrijmaakte voor een aantal functies in zijn nieuwste creatie, een holografische 3D-headset genaamd HoloLens.
Maar vandaag, zittend in zijn kantoor op het hoofdkantoor van Microsoft in Redmond, Washington, heeft Kipman het niet over hardware. Hij bespreekt de relatie tussen mens en machine vanuit een breder filosofisch perspectief. Ongeacht of we interactie hebben met machines via schermen of dingen die op ons hoofd zitten, voor hem is dit allemaal slechts een 'moment in de tijd'.
De in Brazilië geboren Kipman, een technisch specialist bij Microsoft's Windows and Devices Group, legt enthousiast uit dat een belangrijk voordeel van technologie het vermogen is om tijd en ruimte te vervangen. Hij noemt het voorbeeld van "mixed reality" (MR), een Microsoft-term voor een mix van de echte wereld met computergegenereerde afbeeldingen. Volgens Kipman zal het ooit op een onzichtbare manier augmented en virtual reality combineren. Een van de meest opvallende kenmerken van MR, zegt hij, is het potentieel om "superkrachten van vervanging" in de echte wereld te ontketenen.
Mensen hechten bijzondere waarde aan het gevoel dat je krijgt als je fysiek de ruimte deelt met iemand anders. Daarom besloot Alice Bonasio van FastCompany Kipman persoonlijk te interviewen. "Maar als je dit soort interactie zou kunnen doen zonder tijd te verspillen met bewegen", zegt Kipman, "zou het leven veel interessanter zijn." Verder van de eerste persoon.
"Mijn dochter kan elk weekend communiceren met haar broers in Brazilië, en mijn werknemers hoeven niet de wereld rond te reizen om hun werk te doen", vervolgt hij. “Met de komst van kunstmatige intelligentie konden we het gesprek voortzetten, maar ik zou hier niet meer zijn. Op een dag zullen jij en ik praten, je zult op Mars zijn en ik zal honderd jaar dood zijn. Het is de taak van onze technici om de toekomst te versnellen en zich constant af te vragen hoe ze dat moeten doen."
Microsoft rekent op mixed reality om ons te helpen de toekomst in te gaan. En hier gaan we weer terug naar de hardware. Beschikbaarheid van het juiste apparaat voor de juiste prijs zal een factor zijn bij het bepalen of consumenten mixed reality omarmen (hoewel het onwaarschijnlijk is dat apparaten alleen de MR-revolutie zullen starten, zoals VR heeft aangetoond). Hoewel de HoloLens de enige stand-alone holografische computer op de markt is (in tegenstelling tot de OculusRift of HTCVive als je geen kabels hoeft aan te sluiten op een extern apparaat), dient de slimme bril van $ 3.000 als meer een proof of concept dan een consumentenproduct.
Nu wil Microsoft dat veranderen. Het bedrijf lanceert dit najaar Windows Mixed Reality Headsets, de eerste serieuze poging om het concept op de markt te brengen bij het grote publiek. Hoewel dit apparaat nog steeds dichter bij de perfecte hybride van augmented en virtual reality staat, belichaamt het al de belangrijkste kenmerken van HoloLens - zoals geavanceerde tracking- en mapping-mogelijkheden - en biedt het een meer betaalbare prijs van 300-500 dollar. De headset zal in verschillende vormen verkrijgbaar zijn bij verschillende hardwarepartners, waaronder Dell, HP en Samsung, en stelt gebruikers in staat 3D-ruimtes te creëren die kunnen worden gepersonaliseerd met media, apps, browservensters en meer.
Volgens Microsoft is het implementeren van een platform waarmee iedereen in het algemeen zijn eigen digitale wereld kan creëren, de eerste stap om die sprong naar de wereld van morgen te maken. "Als je, net als wij, gelooft dat mixed reality de onvermijdelijke volgende trend in computergebruik is, dan zul je productiviteit, creativiteit, educatie en een heel nieuw scala aan entertainment moeten benutten, van casual tot hardcore gaming", zegt Kipman.
Promotie video:
Mixed reality verbeteren
Kipman is niet de enige die optimistisch is over mixed reality. De in Californië gevestigde startup Avegant werkt aan een platform dat gedetailleerde 3D-beelden presenteert door meerdere brandpuntsvlakken in lagen te leggen, die het bedrijf "lichtveldtechnologie" noemt. "De toepassingen zijn eindeloos", zegt Jörg Tewis, CEO van Avegant. “Van ontwerpers en ingenieurs die 3D-modellen rechtstreeks met hun handen manipuleren, tot medische professoren die verschillende hartaandoeningen illustreren aan de hand van een voorbeeld van een praktisch levend model aan hun studenten. Thuis kunnen gebruikers virtuele schappen omringen met hun favoriete producten. Mixed reality stelt mensen in staat om direct met hun ideeën te communiceren in plaats van schermen en toetsenborden."
Om dit allemaal te doen, moeten apparaten met gemengde realiteit virtuele afbeeldingen ondersteunen die niet te onderscheiden zijn van de echte wereld en er als één stuk mee communiceren. Volgens professor Gregory Welch, een computerwetenschapper aan de University of Central Florida, hebben de meeste tot dusver ontwikkelde technologieën dit evenwicht nog niet bereikt. "Gemengde realiteit is vooral moeilijk omdat er noch de verborgen imperfectie van het virtuele, noch de opvallende puurheid van de werkelijkheid is."
Hij en zijn collega's ontdekten dat in sommige gevallen het relatief brede gezichtsveld van de echte wereld dat HoloLens biedt, een belangrijk gevoel van aanwezigheid kan schaden. Terwijl een gezond persoon 210 graden ziet, vergroot het HoloLens-display het midden van uw gezichtsveld met ongeveer 30 graden. In experimenten van Welch en zijn team verminderde de kloof tussen het echte en het uitgebreide landschap het gevoel van onderdompeling en aanwezigheid.
"Dit betekent dat als je naar een virtueel persoon voor je kijkt (zoals het geval was in ons experiment), je alleen een deel van hem voor je in de ruimte ziet zweven", zegt Welch. “Je zult je hoofd op en neer moeten bewegen om de perceptie van hem te 'tekenen', aangezien je de hele persoon niet in één keer kunt zien tenzij je hem van een afstand bekijkt (hij zal kleiner lijken). Het probleem is dat je brein constant de 'normale' wereld eromheen ziet, en dit 'overschrijft' veel van de soorten perceptie die je anders misschien zou hebben. '
Welch legt verder uit dat in de demo's die we vandaag zien met HoloLens of Apple ARKit, virtuele objecten op een plat oppervlak kunnen worden bevestigd, maar afgezien van de basisvorm en het visuele uiterlijk herkent de software meestal niet veel belangrijke fysieke kenmerken van het object, zoals gewicht, zwaartepunt en gedrag, of het oppervlak waarop het zich bevindt - om nog maar te zwijgen van enige echte activiteit die plaatsvindt rond objecten.
"Als ik per ongeluk een paar dobbelstenen van de virtuele tafel gooi, zullen ze niet" vallen "wanneer ze de rand bereiken en weerkaatsen zoals zou worden verwacht op basis van hun type en vloermateriaal," legt hij uit.
In een paper dat Welch samen met professor Jeremy Baylinson, directeur van het Virtual Human Interaction Lab (VHIL) aan de Stanford University, schreef, zetten ze enkele van hun onderzoeksresultaten uiteen die aantonen dat virtuele inhoud veel meer waarde heeft wanneer deze gedrag vertoont dat wij doen. verwachten van fysieke objecten in de echte wereld.
"In ons laboratorium beginnen we HoloLens te gebruiken om de relatie tussen de augmented reality-ervaring en de daaropvolgende psychologische relatie met de fysieke ruimte zelf te begrijpen", zegt Beilinson. Hij legt bijvoorbeeld uit dat zijn experimenten aantonen dat virtuele mensen die "als geesten lopen" door echte objecten heen, in plaats van ze te omzeilen of te proberen te vermijden, als minder "echt" worden ervaren dan degenen die de wetten van de natuurkunde gehoorzamen.
Vooruitgang in mixed reality zal headsets waarschijnlijk betaalbaarder en lichter maken, maar het is ook mogelijk dat in sommige van onze toekomstige interacties met deze technologie helemaal geen draagbare elektronica zal zijn. Met Spatial Augmented Reality (SAR), jaren geleden ontwikkeld door Welch, kun je projectoren gebruiken om het uiterlijk van fysieke objecten om je heen te veranderen, zoals het materiaal van een tafel of de kleur van een bank - zonder bril.
"Natuurlijk werkt SAR niet in alle situaties, maar als het dat wel doet, zal het overtuigend en gemakkelijk zijn", zegt Welch. “Als er iets magisch is als de wereld om je heen verandert, en je hebt er niets mee te maken - geen headset, geen telefoon, niets. Je bestaat gewoon in de fysieke wereld, die praktisch om je heen aan het veranderen is."
Virtuele samenwerkingstool in de echte wereld
Nonnie de la Peña, oprichter en CEO van Emblematic, hielp VR te gebruiken als rapportagetool en voor het vertellen van verhalen. Ze wordt de "meter van virtual reality" genoemd en ze gelooft dat onderdompelingstechnologie het dichtst in de buurt komt van het voorstellen van een publiek - dat wil zeggen, het in de plaats stellen van een verteller. Ze gelooft dat HoloLens het potentieel heeft om de kwaliteit en diepgang van ons begrip van de wereld te vergroten, deels dankzij volumetrische opname, die een 3D-model van objecten creëert met behulp van meerdere camera's en een groen scherm. "Microsoft begon realisme op hoog niveau aan te bieden met behulp van volumetrische opname, en het werd onmiddellijk opgepikt door journalisten", zegt de la Peña. Emblematic's eigen creatie, After Solitary, is een bekroonde documentaire.gemaakt in samenwerking met PBS en KnightFoundation, die deze techniek gebruikten om de essentie van het trauma van een lange gevangenisstraf over te brengen.
De grootste verandering die mixed reality belooft, is dat inhoud niet aan een bepaald apparaat is gekoppeld. MR gebruikt bouwstenen (objecten uit de echte wereld of door de computer gegenereerde objecten) om omgevingen te creëren waarin mensen binnenkomen voor verdere interactie. In deze context worden apparaten een venster waarin u in deze werelden kunt kijken en er toegang toe hebt, in plaats van een opslagplaats waarin uw persoonlijke inhoud (zoals uw smartphone) wordt opgeslagen.
Kipman merkt op dat in deze gedeelde echte / virtuele omgevingen onze relatie met computers verschuift van persoonlijk naar collaboratief - van apparaten die uw eigen gepersonaliseerde inhoud opslaan naar gedeelde ruimtes van creativiteit die gemedieerd worden door technologie. Kipman denkt dat dit ingrijpende gevolgen heeft voor hoe we in de toekomst applicaties zullen ontwikkelen. Als je bijvoorbeeld een virtueel beeld maakt en dit als hologram bovenop een tafel in je woonkamer plaatst, zal een andere persoon met een mixed reality-apparaat je beeld zien als ze de kamer binnenkomen en het verplaatsen als ze dat willen. Omdat de inhoud niet op uw apparaat wordt opgeslagen, maar op de omgeving zelf, definieert u de objecten (zowel echt als virtueel) die het bewonen.
"Deze concepten vereisen een heroverweging van het besturingssysteem in een context van mixed reality", zegt Kipman. “Je moet een basis leggen die van silicium- naar cloudarchitectuur gaat om je eigen overstap van personal computing naar collaborative computing te realiseren. Het zal even duren,”lacht hij.
Ilya Khel
