En gång inom en inte alltför avlägsen framtid kommer Apple enligt uppgift att presentera ett headset för förstärkt verklighet eller blandad verklighet. Apple har ännu inte diskuterat några huvudbonader. Men förstärkt verklighet lever och frodas på iPhone – och det blir bara bättre. Apples djupsökande lidarsensor (tillgänglig på iPhone 12 Pro och de senaste iPads), med sina avancerade 3D-skanningsmöjligheter, känns på många sätt som ryggraden i framtidens Apple-headset.
Apple inledde sin AR-resa 2017 och gjorde ett stort nummer med virtuella Ikea-möbler och realistiska Pokemon Go-strider utomhus. I år har jag stått på gatuhörn och skannat brandposter med Apples nya iPhone 12 Pro. Jag har kartlagt mitt hems inre. Jag har navigerat i lavafloder på mina golv.
Facebook, Microsoft och Magic Leap utforskar redan goggles och glasögon som syftar till att blanda det virtuella och det verkliga, och i framtiden kommer fler headsets med Qualcomm-chips. Men Apples AR-uppdrag just nu är enligt Mike Rockwell, Apples chef för AR, och Allessandra McGinnis, företagets ledande produktchef för AR, att få allt att fungera bättre på den enhet du redan har i fickan. Att lägga AR på platser i den verkliga världen och skapa upplevelser automatiskt, samtidigt som man skapar kreativa verktyg och utvecklar hjälpmedel som bygger på AR:s möjligheter, kan i det långa loppet bli de största killer apparna.
”AR har en enorm potential att vara till hjälp för människor i deras liv med hjälp av de enheter som finns i dag och de enheter som kanske kommer att finnas i morgon, men vi måste se till att det blir framgångsrikt”, säger Rockwell. ”För oss är det bästa sättet att göra det att möjliggöra vårt ekosystem för enheter, så att det blir en hälsosam och lönsam plats för människor att investera sin tid och sina ansträngningar i.”
Rockwell och McGinnis talade också med mig om vad som är annorlunda nu jämfört med för tre år sedan, och varför telefoner spelar så stor roll för vad som kommer härnäst.
Apples AR-app som dödar: Telefonen du redan har
Virtual reality-headsets som Oculus Quest 2, även om de ständigt förbättras i kvalitet, används fortfarande inte av många människor jämfört med telefoner. ”Ingen pratar egentligen om siffror” på sålda VR-headsets förutom Sony, som har sålt 5 miljoner PlayStation VR-headsets hittills, säger Anshel Sag, Senior Consumer Chip Analyst på Moor Insights, även om ”det finns en stor sannolikhet att det kan nå 5-6 miljoner sålda headsets under det första året”. Men även då använder dessa VR-headsets appar som vanligtvis känns borttagna från de telefoner och datorer som vi använder varje dag. AR-headsets finns fortfarande inte i något större antal ännu, även flera år efter att Magic Leap och Microsofts HoloLens lovade en nära förestående framtid för blandad verklighet.
”Det har varit en ganska svår väg för utvecklare som endast använder VR eller som försöker göra AR-upplevelser”, konstaterar Rockwell. ”Det finns helt enkelt inte så många där ute.” Samtidigt har Apple ett rent antal AR-aktiverade iPhones och iPads från 2017 som uppgår till hundratals miljoner. ”Även om du bara vänder dig till en relativt liten andel är det fortfarande ett gigantiskt antal.”
Apple säger att det redan finns 10 000 AR-aktiverade iOS-appar från 7 000 utvecklare, varav många är inriktade på shopping eller heminredning som ett sätt att praktiskt använda AR i hemmet. Praktiskt är precis vad Apple verkar vara mest inriktad på för tillfället. ”Vi ville tillhandahålla en plattform och ett ekosystem för utvecklare där de kan försörja sig”, säger Rockwell.
Men medan COVID-19-pandemin har stängt ner fysiska affärer och bromsat resandet för de flesta människor, är hemshopping med hjälp av AR-verktyg en stor del av Apples fokus just nu. På samma sätt som Google och Microsoft strävar efter sätt att se saker som du kanske vill köpa i 3D på din telefon hemma med hjälp av telefonbaserade AR-verktyg, ser Apples hook-ins till webbläsaren Safari som möjliggör pop-up AR-shopping ut att vara stand-ins för att gå till butiker.
Video: Home Depot har upptäckt att det är två till tre gånger mer sannolikt att folk konverterar när de ser en produkt i AR än andra som inte gör det”, påpekar McGinnis och hänvisar till siffror från Shopify och Build.com som visar att sannolikheten att köpa är större (94 %) och att antalet returer är 22 % lägre.
Apputvecklare som Adobe, som tillverkar den kreativa AR-appen Aero för Apples iOS, verkar se på telefonbaserad AR på samma sätt. ”Headsets finns på vår färdplan, men inget av dem har nått den kritiska massa som det är vettigt för oss att använda”, säger Adobes AR-chef Stefano Corrazza om varför företaget inte har utforskat kreativa verktyg för headset efter att ha förvärvat Medium från Oculus: ”Tills vi har en Apple eller Google som lägger ut något i stor skala, är det inte särskilt vettigt för oss att lägga ut det”.
Under tiden kan smartphones som den nya iPhone 12 Pro för 999 dollar vara primära kreativa verktyg och bygga upp headsets längre fram. ”Även med ett headset kommer telefonen att vara den plats där all beräkning sker”, säger Corrazza. ”Och du kan eventuellt strömma till glasögonen.”
Det är samma modell som Qualcomm redan bygger på för framtida AR/VR-enheter också, men det kan ta flera år. Under tiden finns det telefoner. ”Det kommer att vara den primära enheten under en tid för konsumtion”, säger Corrazza om iPhone 12 Pro, ”men även för skanning och 3D-innehåll, det är en mycket kraftfull maskin”. Adobe använder inte 3D-skanningsverktyg i Aero ännu, men kan utforska sätt att införliva dessa funktioner längre fram.
Grattis på födelsedagen Olivia by alban on Sketchfab
Lidar som ett steg mot AR som ett kreativt verktyg
Apples första steg inom AR, vid sidan av iPhone 8, kände bara igen golv med hjälp av telefonens rörelsesensorer, gyroskop och inbyggda kamera. Därefter kände den igen väggar och människor. Lidaraktiverade iPhones och iPads, som osynligt sprutar ut en rad infraröda lasrar från en liten svart cirkel nära de bakre kamerorna, går ett betydande steg längre genom att snabbt maskera (kartlägga i 3D) ett rums fullständiga dimensioner. Detta inkluderar även 3D-objekt och personer i rummet. Det är en utveckling av den typ av teknik som Google utforskade för flera år sedan med en serie djupsökande Tango-telefoner, men i en mer avancerad och utbredd skala. Många tidiga lidaraktiverade appar som Polycam, 3D Scanner och Record 3D är mycket kreativa och 3D-fokuserade på 3D-fångst, vilket är ett stort skifte från de dinosauriebesvärjande, spelande AR-appar som fanns 2017.
”Det är en del av anledningen till att vi satte den här skannern på enheten. Vi kände att det var en nyckelteknologi som kunde öppna upp en explosion av 3D-tillgångar som kan användas för alla möjliga saker”, säger Rockwell. ”Det öppnar också möjligheten att börja skanna miljöer på ett sätt och göra det lättare att skapa 3D-objekt.”
Brooklyn bathrooms Mural by alban on Sketchfab En av de största lagren av 3D-objekt på internet, Sketchfab, ser redan en uppgång, trots flera års tidigare utforskningar av 3D-skanning före detta. Sketchfab nådde just 4 miljoner abonnenter och hade sin första lönsamma månad sedan tjänsten startade 2012.
Men som Sketchfabs vd Alban Denoyel säger har han varit med om tidigare tillfällen då han förväntade sig en boom för 3D-objekt. När VR-headsets debuterade 2016 tillsammans med ett par av Googles 3D-skannande Tango-telefoner var det mycket hype. Marknadsintroduktionen uteblev dock, vilket ledde till vad Denoyel kallar en ”VR-vinter”. Det kanske äntligen tar fart nu.
Snapchat utforskar redan användningen av lidar för AR-effekter som kan placera virtuella saker i den verkliga världen, och har till och med storskaliga experiment som skannar hela stadsblock. ”Vi ser djup som mycket grundläggande”, säger Snapchats vice vd för kameraplattformen Eitan Pilipski.
Även med dessa möjligheter tycker jag dock att det kan vara skrämmande att lära sig använda dessa nya verktyg. Apples eget AR-skapande verktyg, Reality Composer, och Adobes kreativa 3D AR-verktygslåda, Aero, är inte nödvändigtvis appar som du genast laddar ner direkt, och jag tycker fortfarande att de är appar som jag undviker. De appar för 3D-skanning som jag hittills har provat är fascinerande, men också experimentella och inte alltid intuitiva. Apple har i stort sett lagt världen av 3D-skanningsappar i händerna på utvecklare, medan Apples vardagliga kärnverktyg för iOS inte innehåller dessa funktioner särskilt mycket alls.
Apples iOS-omfattande stöd för 3D-objekt antyder ett sätt på vilket 3D-objekt så småningom skulle kunna delas på samma sätt som PDF-filer eller foton. Men på vissa sätt finns de kreativa verktygen för denna framtid ännu inte helt och hållet.
Möjligheterna för fotografering kan också vara fantastiska, och Apples egen kameraapp använder iPhone 12 Pros lidar för att förbättra fokus för nattbilder och porträtt. Men Apple införlivar inte AR i sin kameraapp eller tillåter någon 3D-skanning ännu. De idéerna lämnas till utvecklarna att utforska. Vissa appar, som DSLR Camera, använder redan iPhones lidar för att skapa anpassade lager av 3D-information ovanpå fotodata och lägga in text i 3D i foton.
”Appen kan beräkna segmenteringen mellan personen och bakgrundsobjektet”, säger Fulvio Scichilone, skaparen av DSLR Camera. ”Framtidsplanen för AR-porträttet … är att flytta bildramen med gyroskopet eller fingret.”
People Detection känner igen personer och mäter avstånd med hjälp av AR-teknik.
Scott Stein/CNET
Augmented reality som utökade sinnen och ett verktyg för tillgänglighet
Apple ser att AR:s killer app är upptäckbarhet, men det finns en annan stor möjlighet för tillgänglighet. AR kan bokstavligen utvidga ens sinnen. På ljudområdet använder Apple redan AirPods som hörselhjälpmedel, och Facebook utforskar rumsligt ljud för hörselhjälpmedel.
Det samma kan komma att gälla för synhjälpmedel. Framtida synhjälpsprodukter som Mojo Lens utlovade förstärkta kontaktlinser syftar till att bli hjälpsamma verktyg för synskadade. Apple kan vara på väg att ta en liknande väg med hur AR på iPhone, och framtida enheter, fungerar som hjälpverktyg. Redan nu använder en ny funktion för personupptäckt i iOS 14.2 Apples AR och lidar för att känna igen avstånd till människor, och använder detta för synhjälp på nya iPhones.
Det kan bara vara början. ”Det finns mycket mer vi kan göra, särskilt när det gäller vår förståelse av miljön runt omkring oss”, säger Rockwell. ”Vi kan känna igen människor, men om man tänker på vad en människa kan förstå om en miljö, finns det ingen anledning till att en enhet inte också kan ha den nivån av förståelse och ge den till utvecklare.”
”Vi kommer att arbeta tillsammans med blinda och synskadade för att förbättra särskilt upptäckten av människor”, tillägger McGinnis.
En platsbaserad AR-konstutställning av Alicja Kwade i Acute Art.
Alicja Kwade/Acute Art
AR:s framtida killer app:
Även om jag täcker AR hela tiden, erkänner jag att jag glömmer bort att leta efter nya AR-appar när jag använder en iPhone eller iPad i mitt dagliga liv. Att upptäcka vad som är nytt i den virtuella världen medan jag är upptagen i den verkliga världen är inte en smidig process.
Rockwell ser framtiden för AR på iPhone inte som appar, utan som snabba ögonblick. ”Det är något som du går in och ut ur tre, fyra, fem, sex gånger om dagen för att göra olika saker, och det är lättviktiga upplevelser”, förklarar han. ”Killerappen är egentligen att den kommer att användas regelbundet hela tiden på dessa små sätt som hjälper dig att göra de saker du gör i dag, som gör dem enklare och snabbare.”
Vägen dit går via App Clips, Apples nya sätt att ha små mikroappar i iOS 14 som dyker upp på en iPhone utan att man behöver ladda ner något. App Clips kan utlösas av NFC-taggar eller skanningsbara koder som placeras i den verkliga världen. Jag kan skanna eller trycka och plötsligt få fram AR som är relaterad till den plats jag befinner mig på, t.ex. en virtuell meny eller en museiutställning som väcks till liv.
Det handlar också om Apples kartläggningsinsatser. Apples nya Location Anchors innebär att virtuella AR-objekt kan existera på verkliga platser – tänk dig att se ett virtuellt konstverk på Times Square – som delas av flera personer samtidigt.
”Om det är i ett av de områden där vi har högupplöst kartläggning, vilket är ganska mycket i USA … om det är inom en meter kan du placera en upplevelse”, säger Rockwell om Location Anchors och lovar en bättre än GPS-nivå av platsspecifik noggrannhet. Samtidigt kan App Clips, som utlöses av särskilda QR-koder eller ankare i den verkliga världen, ”vara ned till centimeterprecision.”
Båda dessa är fortfarande ett pågående arbete för Apples AR-satsningar: Under ett år med pandemisk isolering kan det vara mindre troligt att människor har befunnit sig på offentliga platser eller i butiker eller museer där den här typen av platsbaserad AR-teknik skulle kunna dyka upp. Men Apple ser dem som avgörande för människor som använder AR dagligen.
”Vi visste att vi var tvungna att lösa dessa problem för att AR skulle bli en vanlig upplevelse – jag tror att vi verkligen står på gränsen till det för att AR ska bli något som är en större del av deras vardag”, säger Rockwell.
”Min uppfattning är att App Clips och Anchors kommer att göra en enorm skillnad”, säger Jacob De Geer, vd för Acute Art. Acute Art är en app som redan är värd för AR-utställningar på verkliga platser, men en av de nuvarande utmaningarna för människor att hitta denna konst är att veta att den finns där. ”Huvudfrågan, inte bara när det gäller AR utan allt inom tekniken, är: ”Hur får du folk att ladda ner din app?””
En annan utmaning med AR är att det egentligen inte handlar om en enda sak. Är det 3D-konst? Är det en serie verktyg för att rumsligt skanna världen och känna allting bättre? På det sättet kanske AR är osynligt. Kanske är det en liknande filosofi som hur Google ser AR som ett verktyg för att skanna världen.
”Ofta hör vi att folk använder AR utan att veta vad det är”, säger McGinnis och hänvisar till populära iPhone-verktyg som Warby Parkers omedelbara AR-aktiverade glasögonprovning. ”I takt med att det blir mer och mer vanligt förekommande spelar det ingen roll om du vet att det är AR eller inte. Det viktiga är att du får en fantastisk upplevelse i din enhet.”
Framtidens grundarbete läggs redan nu
Kombinera Apples lidarbaserade 3D-skanning, Apples alltmer kapabla AR-verktyg för realistiska bilder, plus AirPod Pros introduktion av rumsligt ljud, som kan få saker du lyssnar på att låta som om de rör sig i 3D-rymden, och det är inte svårt att föreställa sig ett framtida AR-headset från Apple.
Apple vill inte kommentera det. Men under tiden arbetar företaget med att uppmuntra en våg av utvecklare att göra AR-förberedda appar. Och oavsett om det snart kommer ett headset eller inte kommer mer rumsligt medvetna iPhones och iPads att förvandla telefonerna till enheter för världsscanning med sina egna möjligheter. Eller kanske till och med för robotteknik, eller som kameror med datorseende på oväntade platser.
”De här sakerna är, typiskt i början, en känslig sak, och du måste ha alla element där, alla dessa ingredienser, för att de ska bli framgångsrika”, säger Rockwell.
”Om några år kommer det att vara en av de saker som man inte kan minnas att man levde utan, precis som Internet”, tillägger han. ”Det kommer att kännas som att, wow, jag använder det här regelbundet … det kommer att integreras i våra liv.”
Publicerades för första gången den 20 november 2020 kl. 04.00 PT.