Over niet al te lange tijd zal Apple naar verluidt een augmented- of mixed-realityheadset onthullen. Apple heeft nog niet gesproken over een hoofddeksel. Maar augmented reality is springlevend op de iPhone – en het wordt alleen maar beter. Apple’s dieptegevoelige lidar-sensor (beschikbaar op de iPhone 12 Pro en nieuwste iPads), met zijn geavanceerde 3D-scanningmogelijkheden, voelt in veel opzichten als de ruggengraat van de Apple-headsets van de toekomst.

Apple begon zijn AR-reis in 2017 en maakte een plons met virtuele Ikea-meubels en realistisch ogende Pokemon Go-gevechten in de buitenlucht. Dit jaar heb ik op straathoeken brandkranen staan scannen met de nieuwe iPhone 12 Pro van Apple. Ik heb het interieur van mijn huis in kaart gebracht. Ik heb lavarivieren over mijn vloeren genavigeerd.

Facebook, Microsoft en Magic Leap zijn al bezig met het ontwikkelen van brillen die het virtuele met het reële moeten verenigen, en in de toekomst zullen er nog meer headsets komen met chips van Qualcomm. Maar volgens Mike Rockwell, hoofd AR van Apple, en Allessandra McGinnis, senior productmanager voor AR, is de AR-missie van Apple op dit moment om alles beter te laten werken op het apparaat dat je al in je zak hebt. AR koppelen aan locaties in de echte wereld en automatisch ervaringen laten verschijnen, terwijl creatieve hulpmiddelen worden gemaakt en ondersteunende technologie wordt ontwikkeld op basis van de mogelijkheden van AR, kunnen op de lange termijn de grootste killer-apps worden.

“AR heeft een enorm potentieel om mensen te helpen in hun leven met apparaten die vandaag bestaan en apparaten die morgen misschien zullen bestaan, maar we moeten ervoor zorgen dat het succesvol is”, zegt Rockwell. “Voor ons is de beste manier om dat te doen ons ecosysteem van apparaten mogelijk maken, zodat het een gezonde en winstgevende plaats is voor mensen om hun tijd en moeite te investeren.”

Rockwell en McGinnis spraken ook met mij over wat er nu anders is dan drie jaar geleden, en waarom telefoons zo belangrijk zijn voor wat er gaat komen.

Apple’s killer AR-app: De telefoon die je al hebt

Virtual reality-headsets zoals de Oculus Quest 2 worden weliswaar steeds beter van kwaliteit, maar worden in vergelijking met telefoons nog steeds niet door veel mensen gebruikt. “Niemand heeft het echt over aantallen” verkochte VR-headsets, behalve Sony, dat tot nu toe 5 miljoen PlayStation VR-headsets heeft verkocht, zegt Senior Consumer Chip Analyst Anshel Sag, van Moor Insights, hoewel “er een grote waarschijnlijkheid is dat 5-6 miljoen verkochte headsets in het eerste jaar kunnen raken.” Maar zelfs dan gebruiken die VR-headsets apps die zich meestal verwijderd voelen van de telefoons en computers die we dagelijks gebruiken. AR-headsets bestaan nog steeds niet in significante aantallen, zelfs jaren nadat Magic Leap en Microsofts HoloLens een op handen zijnde toekomst van gemengde realiteit beloofden.

“Het is een behoorlijk moeilijke weg geweest voor ontwikkelaars die VR-only zijn, of proberen AR-only ervaringen te doen,” merkt Rockwell op. “Er zijn er gewoon niet zo veel die er zijn.” Ondertussen loopt het aantal AR-enabled iPhones en iPads van Apple, dat dateert uit 2017, in de honderden miljoenen. “Zelfs als je slechts een relatief klein percentage aanspreekt, is dat nog steeds een gigantisch aantal.”

Apple zegt dat er al 10.000 AR-enabled iOS-apps zijn van 7.000 ontwikkelaars, met veel gericht op winkelen of huisverbetering als een manier om AR thuis praktisch te gebruiken. Praktisch is precies waar Apple op dit moment het meest op uit lijkt te zijn. “We wilden een platform en ecosysteem bieden voor ontwikkelaars waar ze hun brood mee kunnen verdienen”, zegt Rockwell.

Terwijl de COVID-19-pandemie fysieke bedrijven heeft stilgelegd en het reizen voor de meeste mensen heeft vertraagd, is thuiswinkelen met behulp van AR-tools op dit moment een belangrijk onderdeel van de focus van Apple. Op dezelfde manier als Google en Microsoft manieren nastreven om dingen die je zou willen kopen thuis in 3D op je telefoon te zien met behulp van telefoon-gebaseerde AR-tools, lijken de invoegtoepassingen van Apple in zijn Safari-browser die pop-up AR-winkelen mogelijk maken, stand-ins te zijn voor het gaan naar winkels.

“Home Depot’s heeft ontdekt dat mensen twee tot drie keer meer kans hebben om te converteren wanneer ze een product in AR bekijken dan anderen die dat niet doen,” wijst McGinnis erop, waarbij hij cijfers aanhaalt van Shopify en Build.com die een grotere waarschijnlijkheid om te kopen (94%) en een 22% lager percentage retouren laten zien.

App-ontwikkelaars, waaronder Adobe, dat de AR creatieve app Aero voor Apple’s iOS maakt, lijken telefoongebaseerde AR op dezelfde manier te zien. “Headsets staan op onze roadmap, geen van hen heeft de kritische massa bereikt die voor ons zinvol is om in te zetten”, zegt Adobe’s hoofd AR, Stefano Corrazza, over de reden waarom het bedrijf creatieve tools voor headsets niet heeft verkend buiten de overname van Medium van Oculus: “Totdat we een Apple of Google hebben die daar op grote schaal iets uitbrengen, heeft het niet veel zin voor ons om het naar buiten te duwen.”

In de tussentijd kunnen smartphones zoals de nieuwe iPhone 12 Pro van 999 dollar primaire creatieve hulpmiddelen zijn, die in de toekomst worden opgebouwd tot headsets. “Zelfs met een headset zal de telefoon zijn waar alle berekeningen gebeuren”, zegt Corrazza. “En je kunt mogelijk naar de bril streamen.”

Dat is hetzelfde model waar Qualcomm ook al aan bouwt voor toekomstige AR/VR-apparaten, maar dat kan nog jaren duren. In de tussentijd zijn er telefoons. “Het zal een tijdje het primaire apparaat zijn om te consumeren”, zegt Corrazza over de iPhone 12 Pro, “maar ook voor scannen en 3D-inhoud is het een zeer krachtige machine.” Adobe gebruikt nog geen 3D-scantools op Aero, maar onderzoekt mogelijk manieren om die functies op de weg te integreren.

Lidar als een stap in de richting van AR als creatief hulpmiddel

Apple’s eerste stappen in AR, naast de iPhone 8, herkende gewoon vloeren met behulp van de bewegingssensoren, gyroscopen en ingebouwde camera van de telefoon. Daarna herkende het muren en mensen. iPhones en iPads met lidar, die onzichtbaar een reeks infraroodlasers spuiten vanuit een kleine zwarte cirkel in de buurt van de achterste camera’s, gaan een belangrijke stap verder door snel de volledige dimensies van een kamer in kaart te brengen (in 3D in kaart brengen). Dat omvat ook 3D-objecten en mensen in de ruimte. Het is een evolutie van het type technologie dat Google jaren geleden heeft onderzocht met een lijn van dieptegevoelige Tango-telefoons, maar op een meer geavanceerde en wijdverspreide schaal. Veel vroege lidar-enabled apps zoals Polycam, 3D Scanner en Record 3D zijn zeer creatief en 3D capture-focused, een grote verschuiving van de dinosaurus-bedriegende, game-playing AR apps terug in 2017.

“Dat is een deel van de reden waarom we deze scanner op het apparaat hebben gezet. We hadden het gevoel dat het een sleuteltechnologie was die een explosie van 3D-activa kon openen die voor allerlei dingen kunnen worden gebruikt,” zegt Rockwell. “Het opent ook de mogelijkheid om te kunnen beginnen met het scannen van omgevingen op een manier, en in staat zijn om het gemakkelijker te maken om 3D-objecten te maken.”

Een van de grootste repositories van 3D-objecten op het internet, Sketchfab, ziet nu al een opleving ondanks jaren van eerdere verkenningen in 3D-scannen hiervoor. Sketchfab heeft net 4 miljoen abonnees bereikt en had zijn eerste winstgevende maand sinds de service in 2012 begon.

Maar zoals Sketchfab’s CEO Alban Denoyel zegt, hij heeft eerdere tijden meegemaakt waarin hij een hausse in 3D-objecten verwachtte. Toen VR-headsets in 2016 debuteerden samen met een paar Google 3D-scannende Tango-telefoons, was er veel hype. De marktadoptie bleef echter uit, wat leidde tot wat Denoyel een “VR-winter” noemt. Het zou nu eindelijk kunnen oppakken.

Snapchat verkent al het gebruik van lidar voor AR-effecten die virtuele dingen in de echte wereld kunnen plaatsen, en heeft zelfs grootschaligere experimenten die hele stadsblokken scannen. “We kijken naar diepte als zeer fundamenteel”, zegt Snapchat’s VP van het Cameraplatform Eitan Pilipski.

Zelfs met deze mogelijkheden merk ik echter dat het leren gebruiken van deze nieuwe tools ontmoedigend kan zijn. Apple’s eigen AR-creatietool, Reality Composer, en Adobe’s 3D AR creatieve toolkit, Aero, zijn niet per se apps die je meteen downloadt, en ik vind ze nog steeds apps die ik vermijd. De 3D-scanning apps die ik tot nu toe heb geprobeerd zijn fascinerend, maar ook experimenteel, en niet altijd even intuïtief. Apple heeft de wereld van 3D-scannen-apps grotendeels in handen van ontwikkelaars gelegd, terwijl de dagelijkse kerntools van Apple voor iOS deze functies helemaal niet veel bevatten.

Apple’s iOS-brede ondersteuning voor 3D-objecten suggereert wel een manier waarop 3D-dingen uiteindelijk gedeeld zouden kunnen worden zoals PDF’s of foto’s. Maar in sommige opzichten bestaan de creatieve hulpmiddelen voor deze toekomst nog niet volledig.

De mogelijkheden voor fotografie zouden ook verbazingwekkend kunnen zijn, en Apple’s eigen Camera-app maakt gebruik van de lidar van de iPhone 12 Pro om de scherpstelling voor nachtfoto’s en portretten te verbeteren. Maar Apple verwerkt AR nog niet in zijn camera-app en maakt ook nog geen 3D-scans mogelijk. Die ideeën worden aan ontwikkelaars overgelaten om te verkennen. Sommige apps, zoals DSLR Camera, maken al gebruik van de lidar van de iPhone om aangepaste lagen 3D-informatie te creëren bovenop fotogegevens, waarbij tekst in 3D in foto’s wordt gelaagd.

“De app is in staat om de segmentatie tussen de persoon en het achtergrondobject te berekenen,” zegt Fulvio Scichilone, de bedenker van DSLR Camera. “Het toekomstplan voor het AR-portret … is om, met de gyroscoop of je vinger, het kader van de foto te bewegen.”

Augmented reality als uitbreiding van zintuigen, en een toegankelijkheidstool

Apple ziet als killer-app van AR de vindbaarheid, maar er komt nog een andere enorme kans aan voor toegankelijkheid. AR kan letterlijk iemands zintuigen uitbreiden. In de audiowereld gebruikt Apple al AirPods als gehoorapparaat, en Facebook onderzoekt ook ruimtelijke audio voor ondersteunend horen.

Hetzelfde zou kunnen gebeuren voor ondersteunend zien. Toekomstige zichtondersteunende producten, zoals de beloofde augmented contactlenzen van Mojo Lens, zijn bedoeld als nuttige hulpmiddelen voor slechtzienden. Apple zou een vergelijkbare weg kunnen inslaan met de manier waarop AR op de iPhone, en toekomstige apparaten, werken als hulpmiddelen. Een nieuwe functie voor mensdetectie in iOS 14.2 maakt al gebruik van Apple’s AR en lidar om afstanden van mensen te herkennen, en gebruikt dat voor zichtassistentie op nieuwe iPhones.

Dat zou nog maar het begin kunnen zijn. “Er is nog veel meer dat we kunnen doen, vooral met betrekking tot ons begrip van de omgeving die om ons heen is,” zegt Rockwell. “We kunnen mensen herkennen, maar als je denkt aan wat een mens kan begrijpen over een omgeving, is er geen reden dat in de volheid van de tijd een apparaat niet dat niveau van begrip kan hebben, ook, en dat aan ontwikkelaars kan bieden.”

“We zullen samenwerken met de blinden- en slechtziendengemeenschap om specifiek de menselijke detectie te verbeteren,” voegt McGinnis toe.

AR’s toekomstige killer-app: Direct zijn

Ondanks dat ik AR de hele tijd behandel, geef ik toe dat ik vergeet op zoek te gaan naar nieuwe AR-apps wanneer ik in mijn dagelijks leven een iPhone of iPad gebruik. Ontdekken wat er nieuw is in de virtuele wereld terwijl ik bezig ben in de echte is geen naadloos proces.

Rockwell ziet de toekomst van iPhone AR niet als apps, maar als quick-glance-momenten. “Iets waar je drie, vier, vijf, zes keer per dag in en uit dipt om verschillende dingen te doen, en het zijn lichtgewicht ervaringen,” legt hij uit. “De killer app is echt dat het gaat worden gebruikt in een soort van regelmatige basis de hele tijd in deze kleine manieren die u helpen om de dingen te doen die je vandaag doet, die ze gemakkelijker en sneller maken.”

De weg daarheen omvat App Clips, Apple’s nieuwe manier om kleine micro-apps in iOS 14 te hebben die op een iPhone verschijnen zonder dat je iets hoeft te downloaden. App Clips kunnen worden geactiveerd door NFC-tags of scanbare codes die in de echte wereld zijn geplaatst. Ik zou kunnen scannen of tikken, en plotseling AR laten verschijnen die gerelateerd is aan de plek waar ik ben, zoals een virtueel menu of een tot leven gewekte museumtentoonstelling.

Het gaat ook om de mapping-inspanningen van Apple. De nieuwe Location Anchors van Apple betekenen dat virtuele AR-objecten op echte locaties kunnen bestaan – stel je voor dat je een virtueel kunstwerk op Times Square ziet – gedeeld door meerdere mensen tegelijkertijd.

“Als het in een van de gebieden is die we in kaart hebben gebracht met hoge resolutie, wat vrij veel is in de VS … als het binnen een meter is, kun je een ervaring plaatsen”, zegt Rockwell over Location Anchors, die een locatie-specifieke nauwkeurigheid beloven die beter is dan GPS. Ondertussen kunnen App Clips, die worden geactiveerd door bepaalde QR-codes of ankers in de echte wereld, “tot op centimeters nauwkeurig zijn.”

Beide zijn nog steeds een werk in uitvoering voor Apple’s AR-inspanningen: In een jaar van door pandemie veroorzaakte isolatie is het misschien minder waarschijnlijk dat mensen op openbare plaatsen of in winkels of musea zijn geweest waar dit soort locatiegebaseerde AR-technologie zou kunnen opduiken. Maar Apple ziet ze als cruciaal voor mensen die AR op dagelijkse basis gebruiken.

“We wisten dat we die problemen moesten oplossen om AR een mainstream-ervaring te laten worden – ik denk dat we echt op de drempel staan voor mensen om AR iets te laten worden dat meer deel uitmaakt van hun dagelijks leven,” zegt Rockwell.

“Mijn perceptie is dat App Clips en Anchors een enorm verschil zullen maken,” zegt Acute Art CEO Jacob De Geer. Acute Art is een app die al AR-tentoonstellingen host op locaties in de echte wereld, maar een van de huidige uitdagingen voor mensen om deze kunst te vinden, is weten dat het er is. “Het belangrijkste probleem, niet alleen in AR, maar alles in technologie is nu: ‘Hé, hoe krijg je mensen zover dat ze je app downloaden?'”

Een andere uitdaging voor AR is – echt, het is niet één ding. Is het 3D-kunst? Is het een reeks gereedschappen om de wereld ruimtelijk te scannen en alles beter waar te nemen? Op die manier, misschien AR is onzichtbaar. Misschien is het een soortgelijke filosofie als hoe Google AR ziet als een wereldscan-tool.

“Vaak horen we dat mensen AR gebruiken en niet weten wat ze zijn,” zegt McGinnis, verwijzend naar populaire iPhone-tools zoals Warby Parker’s instant AR-enabled bril try-on. “Naarmate het meer en meer mainstream wordt, maakt het niet meer uit of je weet dat het AR is of niet. Het maakt uit dat je een geweldige ervaring hebt in je apparaat.”

Het toekomstige grondwerk wordt nu gelegd

Combineer Apple’s op lidar gebaseerde 3D-scanning, Apple’s steeds capabelere AR-tools voor realistische beelden, plus de introductie van ruimtelijke audio door de AirPod Pro, die dingen waarnaar je luistert kan laten klinken alsof ze bewegen in de 3D-ruimte, en het is niet moeilijk om je een toekomstige Apple AR-headset voor te stellen.

Apple wil daar geen commentaar op geven. Maar in de tussentijd werkt het bedrijf aan het stimuleren van een golf van ontwikkelaars om AR-ready apps te maken. En of er nu wel of niet snel een headset komt, meer ruimtelijk bewuste iPhones en iPads zullen de telefoons veranderen in wereldscannende apparaten met hun eigen mogelijkheden. Of misschien zelfs voor robotica, of als computer-vision-enabled camera’s op onverwachte plaatsen.

“Deze dingen zijn, soort van in het begin, een delicaat ding, en je moet alle elementen daar hebben, al deze ingrediënten, voor hen om succesvol te zijn,” zegt Rockwell.

“Over een paar jaar zal het een van die dingen zijn waarvan je je niet meer kunt herinneren dat je zonder hebt geleefd, net als het internet,” voegt hij eraan toe. “Je gaat het gevoel hebben van, wow, ik gebruik dit regelmatig … het zal gewoon geïntegreerd raken in ons leven.”

Voor het eerst gepubliceerd op 20 nov. 2020 om 4:00 a.m. PT.