Engang i en ikke alt for fjern fremtid vil Apple efter sigende afsløre et augmented- eller mixed reality-headset. Apple har endnu ikke diskuteret noget hovedudstyr. Men augmented reality er i live og har det godt på iPhone – og det bliver kun bedre og bedre. Apples dybdefølende lidar-sensor (tilgængelig på iPhone 12 Pro og de nyeste iPads), med sine avancerede 3D-scanningsmuligheder, føles på mange måder som rygraden i fremtidens Apple-headsets.
Apple begyndte sin AR-rejse i 2017 og gjorde et brag af sig selv med virtuelle Ikea-møbler og realistisk udseende udendørs Pokemon Go-kampe. I år har jeg stået på gadehjørner og scannet brandhaner med Apples nye iPhone 12 Pro. Jeg har kortlagt mit hus’ indre. Jeg har navigeret i lavafloder på mine gulve.
Facebook, Microsoft og Magic Leap udforsker allerede goggles og briller, der har til formål at blande det virtuelle og det virkelige, og der kommer flere headsets i fremtiden, som bruger Qualcomm-chips. Men Apples AR-mission lige nu er ifølge Mike Rockwell, Apples chef for AR, og Allessandra McGinnis, Apples seniorproduktchef for AR, at få alting til at fungere bedre på den enhed, du allerede har i lommen. At lægge AR sammen med steder i den virkelige verden og automatisk få oplevelser frem, samtidig med at der laves kreative værktøjer og udvikles hjælpeteknologi baseret på AR’s muligheder, kan i det lange løb blive de største killer-apps.
“AR har et enormt potentiale til at hjælpe folk i deres liv på tværs af enheder, der findes i dag, og enheder, der måske findes i morgen, men vi skal sikre, at det bliver en succes,” siger Rockwell. “For os er den bedste måde at gøre det på at aktivere vores økosystem af enheder, så det er et sundt og rentabelt sted for folk at investere deres tid og kræfter.”
Rockwell og McGinnis talte også med mig om, hvad der er anderledes nu sammenlignet med for tre år siden, og hvorfor telefoner betyder så meget for det, der kommer nu.
Apples killer-AR-app: Telefonen, du allerede har
Virtual reality-headsets som Oculus Quest 2 bliver hele tiden bedre i kvalitet, men bruges stadig ikke af mange mennesker sammenlignet med telefoner. “Ingen taler virkelig om tal” for solgte VR-headsets undtagen Sony, som indtil videre har solgt 5 millioner PlayStation VR-headsets, siger Senior Consumer Chip Analyst Anshel Sag fra Moor Insights, selv om “der er en stor sandsynlighed for, at det kan nå 5-6 millioner solgte headsets i løbet af det første år”. Men selv da bruger disse VR-headsets apps, der normalt føles fjernt fra de telefoner og computere, som vi bruger til daglig. AR-headsets findes stadig ikke i noget nævneværdigt antal endnu, selv år efter at Magic Leap og Microsofts HoloLens lovede en nært forestående fremtid med blandet virkelighed.
“Det har været en temmelig hård vej for udviklere, der kun er VR-only, eller som forsøger at lave AR-only-oplevelser,” bemærker Rockwell. “Der er bare ikke så mange derude.” I mellemtiden tæller Apples rene antal AR-aktiverede iPhones og iPads, der går tilbage til 2017, i hundredvis af millioner. “Selv hvis du kun appellerer til en relativt lille procentdel, er det stadig et gigantisk antal.”
Apple siger, at der allerede findes 10.000 AR-aktiverede iOS-apps fra 7.000 udviklere, hvoraf mange fokuserer på shopping eller boligforbedring som en måde at bruge AR praktisk derhjemme. Praksis er netop det, som Apple synes at være mest opsat på i øjeblikket. “Vi ønskede at levere en platform og et økosystem for udviklere, hvor de kunne leve af det,” siger Rockwell.
Mens COVID-19-pandemien har lukket fysiske forretninger ned og bremset rejser for de fleste mennesker, er shopping i hjemmet ved hjælp af AR-værktøjer en stor del af Apples fokus lige nu. På samme måde som Google og Microsoft søger måder at se ting, du måske ønsker at købe i 3D på din telefon derhjemme ved hjælp af telefonbaserede AR-værktøjer, ser Apples hook-ins til sin Safari-browser, der muliggør pop-up AR-shopping, ud til at være stand-ins for at gå i butikker.
Video: Vores dybdegående gennemgang af iPhone 12 og 12 Pro
“Home Depot har fundet ud af, at folk er to til tre gange mere tilbøjelige til at konvertere, når de ser et produkt i AR end andre, der ikke gør det,” påpeger McGinnis og citerer tal fra Shopify og Build.com, der viser en større sandsynlighed for at købe (94 %) og 22 % færre returneringer.
App-udviklere, herunder Adobe, som laver AR-kreativ-appen Aero til Apples iOS, ser tilsyneladende på telefonbaseret AR på samme måde. “Headsets er på vores køreplan, Ingen af dem har nået den kritiske masse, der giver mening for os at implementere,” siger Adobes chef for AR, Stefano Corrazza, om hvorfor virksomheden ikke har udforsket kreative værktøjer til headsets ud over at have købt Medium fra Oculus: “Indtil vi har en Apple eller Google, der udgiver noget i bred skala, giver det ikke meget mening for os at skubbe det ud.”
I mellemtiden kan smartphones som den nye iPhone 12 Pro til 999 dollars være primære kreative værktøjer, der kan bygges op til headsets senere hen. “Selv med et headset vil telefonen være det sted, hvor alle beregningerne sker”, siger Corrazza. “Og du kan potentielt streame til brillerne.”
Det er den samme model, som Qualcomm også allerede bygger på til fremtidige AR/VR-enheder, men det kan tage år. I mellemtiden er der telefoner. “Det vil være den primære enhed i et stykke tid til forbrug,” siger Corrazza om iPhone 12 Pro, “men også til scanning og 3D-indhold, det er en meget kraftfuld maskine.” Adobe bruger ikke 3D-scanningsværktøjer på Aero endnu, men undersøger måske måder at inkorporere disse funktioner på hen ad vejen.
Happy birthday Olivia by alban on Sketchfab
Lidar som et skridt mod AR som et kreativt værktøj
Apples første skridt inden for AR, sammen med iPhone 8, har netop genkendt gulve ved hjælp af telefonens bevægelsessensorer, gyros og indbyggede kamera. Derefter genkendte den vægge og mennesker. Lidar-kompatible iPhones og iPads, som usynligt sprøjter en række infrarøde lasere ud fra en lille sort cirkel i nærheden af kameraerne bagpå, går et betydeligt skridt videre ved hurtigt at maskere (kortlægge i 3D) et rum i alle dets dimensioner. Det omfatter også 3D-objekter og personer i rummet. Det er en videreudvikling af den type teknologi, som Google udforskede for flere år siden med en række dybdefølende Tango-telefoner, men i en mere avanceret og udbredt skala. Mange af de tidlige lidaraktiverede apps som Polycam, 3D Scanner og Record 3D er meget kreative og 3D-optagelsesfokuserede, hvilket er et stort skift fra de dinosaur-besværgende, spilleglade AR-apps tilbage i 2017.
“Det er en del af årsagen til, at vi har sat denne scanner på enheden. Vi følte, at det var en nøgleteknologi, der kunne åbne op for en eksplosion af 3D-aktiver, som kan bruges til alle mulige ting”, siger Rockwell. “Det åbner også muligheden for at kunne begynde at scanne miljøer på en måde og gøre det nemmere at skabe 3D-objekter.”
Brooklyn bathrooms Mural by alban on Sketchfab Et af de største arkiver af 3D-objekter på internettet, Sketchfab, oplever allerede nu en opblomstring på trods af flere års tidligere udforskning af 3D-scanning før dette. Sketchfab har netop nået 4 millioner abonnenter og havde sin første overskudsgivende måned, siden tjenesten startede i 2012.
Men som Sketchfabs CEO Alban Denoyel siger, har han været igennem tidligere tider, hvor han forventede et boom i 3D-objekter. Da VR-headsets debuterede i 2016 sammen med et par Google-telefoner med 3D-scanning fra Tango, var der stor hype. Markedsadoptionen skete dog ikke, hvilket førte til det, Denoyel kalder en “VR-vinter”. Måske er der endelig ved at komme gang i den nu.
Snapchat er allerede i gang med at undersøge brugen af lidar til AR-effekter, der kan sætte virtuelle ting ind i den virkelige verden, og har endda eksperimenter i større skala med at scanne hele byblokke. “Vi betragter dybde som meget grundlæggende,” siger Snapchats VP of the Camera Platform Eitan Pilipski.
Selv med disse muligheder oplever jeg dog, at det kan være skræmmende at lære at bruge disse nye værktøjer. Apples eget AR-skabelsesværktøj, Reality Composer, og Adobes kreative 3D AR-værktøjskasse, Aero, er ikke nødvendigvis apps, som man downloader med det samme med det samme, og jeg synes stadig, at det er apps, som jeg undgår. De apps til 3D-scanning, jeg har prøvet indtil videre, er fascinerende, men også eksperimentelle og ikke altid intuitive. Apple har i vid udstrækning lagt verden af apps til 3D-scanning i hænderne på udviklerne, mens Apples daglige kerneværktøjer til iOS slet ikke indeholder disse funktioner i særlig høj grad.
Apples iOS-dækkende understøttelse af 3D-objekter antyder en måde, hvorpå 3D-ting på et tidspunkt kan deles ligesom PDF-filer eller fotos. Men på nogle måder eksisterer de kreative værktøjer til denne fremtid ikke helt endnu.
Mulighederne for fotografering kunne også være fantastiske, og Apples egen Camera-app bruger iPhone 12 Pro’s lidar til at forbedre fokus til natfotos og portrætter. Men Apple inkorporerer ikke AR i sin kamera-app og giver endnu ikke mulighed for 3D-scanning. Disse idéer er overladt til udviklerne at udforske. Nogle apps, som DSLR Camera, bruger allerede iPhone’s lidar til at skabe brugerdefinerede lag af 3D-informationer oven på fotodata og lægge tekst i 3D ind i fotos.
“Appen er i stand til at beregne segmenteringen mellem personen og baggrundsobjektet”, siger Fulvio Scichilone, der er skaberen af DSLR Camera. “Fremtidsplanen for AR-portrættet … er at flytte billedrammen med gyroskopet eller din finger.”
People Detection genkender personer og måler afstanden ved hjælp af AR-teknologi.
Scott Stein/CNET
Augmented reality som udvidede sanser og et tilgængelighedsværktøj
Apple ser AR’s killer app som opdagelsesvenlighed, men der er en anden stor mulighed på vej for tilgængelighed. AR kan bogstaveligt talt udvide ens sanser. På lydområdet bruger Apple allerede AirPods som høreapparater, og Facebook er også ved at undersøge rumlig lyd til hørehjælp.
Det samme kan ske med hensyn til hjælp til synet. Fremtidige synshjælpende produkter som Mojo Lens’ lovede forstærkede kontaktlinser sigter mod at blive nyttige værktøjer for synshandicappede. Apple kan være på vej ind på en lignende måde med den måde, hvorpå AR på iPhone og fremtidige enheder fungerer som hjælpemidler. Allerede nu bruger en ny funktion til at registrere personer i iOS 14.2 Apples AR og lidar til at genkende afstande fra personer og bruger det til synshjælp på de nye iPhones.
Det kan blot være begyndelsen. “Der er meget mere, vi kan gøre, især i forbindelse med vores forståelse af det miljø, der er omkring os,” siger Rockwell. “Vi kan genkende mennesker, men hvis du tænker på, hvad et menneske kan forstå om et miljø, er der ingen grund til, at en enhed ikke også kan have det niveau af forståelse på sigt og give det til udviklere.”
“Vi vil arbejde sammen med blinde og svagsynede for at forbedre specifikt på personkendelsessiden”, tilføjer McGinnis.
En lokationsbaseret AR-kunstudstilling af Alicja Kwade i Acute Art.
Alicja Kwade/Acute Art
AR’s fremtidige killer-app: At være øjeblikkelig
Selv om jeg dækker AR hele tiden, må jeg indrømme, at jeg glemmer at kigge efter nye AR-apps, når jeg bruger en iPhone eller iPad i min hverdag. At opdage, hvad der er nyt i den virtuelle verden, mens jeg har travlt i den virkelige verden, er ikke en problemfri proces.
Rockwell ser fremtiden for iPhone AR ikke som apps, men som øjeblikke med et hurtigt overblik. “Noget, som du dykker ind og ud af tre, fire, fem, seks gange om dagen for at gøre forskellige ting, og det er lette oplevelser,” forklarer han. “Killer-appen er virkelig, at den vil blive brugt på en slags regelmæssig basis hele tiden på disse små måder, der hjælper dig med at gøre de ting, du gør i dag, og som gør dem nemmere og hurtigere.”
Vejsen dertil involverer App Clips, Apples nye måde at have små mikro-apps på i iOS 14, der dukker op på en iPhone, uden at du behøver at downloade noget. App Clips kan udløses af NFC-tags eller scanbare koder, der er placeret i den virkelige verden. Jeg kan scanne eller trykke på og pludselig få AR frem, der er relateret til det sted, jeg befinder mig, f.eks. en virtuel menu eller en museumsudstilling, der vækkes til live.
Det involverer også Apples kortlægningsindsats. Apples nye Location Anchors betyder, at virtuelle AR-objekter kan eksistere på steder i det virkelige liv – forestil dig at se et virtuelt kunstværk på Times Square – som deles af flere personer på samme tid.
“Hvis det er i et af de områder, som vi har kortlægning i høj opløsning, hvilket er ret meget i USA … hvis det er inden for en meter, kan du placere en oplevelse”, siger Rockwell om Location Anchors, der lover en bedre end GPS-niveau af stedspecifik nøjagtighed. I mellemtiden kan App Clips, som udløses af bestemte QR-koder eller ankre i den virkelige verden, “være ned til centimeters nøjagtighed.”
Både disse er stadig et stykke arbejde i gang for Apples AR-indsats: I et år med pandemisk betinget isolation er det måske mindre sandsynligt, at folk har været på offentlige steder eller i butikker eller på museer, hvor denne type lokationsbaseret AR-teknologi kunne dukke op. Men Apple ser dem som afgørende for folk, der bruger AR på daglig basis.
“Vi vidste, at vi var nødt til at løse disse problemer for at AR kan blive en mainstream-oplevelse – jeg tror virkelig, at vi er helt på nippet til, at folk kan få AR til at blive noget, der i højere grad er en del af deres hverdag,” siger Rockwell.
“Min opfattelse er, at App Clips og Anchors vil gøre en massiv forskel,” siger Acute Art CEO Jacob De Geer. Acute Art er en app, der allerede er vært for AR-udstillinger på steder i den virkelige verden, men en af de nuværende udfordringer for folk, der skal finde denne kunst, er at vide, at den er der. “Hovedproblemet, ikke kun inden for AR, men også inden for alle andre teknologiske områder, er: “Hvordan får du folk til at downloade din app?””
En anden udfordring i forbindelse med AR er – det er faktisk ikke en enkelt ting. Er det 3D-kunst? Er det en række værktøjer til rumlig scanning af verden og til at opfatte alting bedre? På den måde er AR måske usynlig. Måske er det en lignende filosofi, som Google ser AR som et værktøj til at scanne verden.
“Ofte hører vi, at folk bruger AR uden at vide, hvad det er,” siger McGinnis og henviser til populære iPhone-værktøjer som Warby Parkers øjeblikkelige AR-aktiverede prøvebriller. “Efterhånden som det bliver mere og mere mainstream, er det ligegyldigt, om man ved, at det er AR eller ej. Det betyder noget, at du får en fantastisk oplevelse i din enhed.”
Det fremtidige grundlag er ved at blive lagt nu
Kombinér Apples lidar-baserede 3D-scanning, Apples stadig mere kompetente AR-værktøjer til realistiske visuelle billeder plus AirPod Pro’s introduktion af rumlig lyd, som kan få ting, du lytter til, til at lyde, som om de bevæger sig i 3D-rummet, og det er ikke svært at forestille sig et fremtidigt Apple AR-headset.
Apple vil ikke kommentere på det. Men i mellemtiden arbejder virksomheden på at opmuntre en masse udviklere til at lave AR-egnede apps. Og uanset om der snart kommer et headset eller ej, vil mere rumligt bevidste iPhones og iPads forvandle telefonerne til verdensscanningsenheder med deres egne muligheder. Eller måske endda til robotteknologi eller som kameraer med computervision på uventede steder.
“Disse ting er i begyndelsen en delikat ting, og man skal have alle elementerne, alle disse ingredienser, for at de kan blive en succes”, siger Rockwell.
“Om et par år vil det være en af de ting, hvor man ikke kan huske, at man har levet uden det, ligesom internettet”, tilføjer han. “Du vil føle dig som, wow, jeg bruger det regelmæssigt … det vil blive integreret i vores liv.”
Udgivet første gang den 20. november 2020 kl. 4.00 om morgenen PT.