In un futuro non troppo lontano, si dice che Apple presenterà una cuffia per la realtà aumentata o mista. Apple non ha ancora parlato di alcun auricolare. Ma la realtà aumentata è viva e vegeta sull’iPhone – e sta solo migliorando. Il sensore lidar di Apple che rileva la profondità (disponibile sull’iPhone 12 Pro e sugli ultimi iPad), con le sue avanzate possibilità di scansione 3D, si sente come la spina dorsale degli auricolari Apple del futuro in molti modi.

Apple ha iniziato il suo viaggio AR nel 2017, facendo un tonfo con mobili Ikea virtuali e battaglie Pokemon Go all’aperto dall’aspetto realistico. Quest’anno, sono stato in piedi agli angoli delle strade a scansionare gli idranti con il nuovo iPhone 12 Pro di Apple. Ho mappato l’interno della mia casa. Ho navigato in fiumi di lava sui miei pavimenti.

Facebook, Microsoft e Magic Leap stanno già esplorando goggles e occhiali che mirano a fondere il virtuale e il reale, con più cuffie in arrivo in futuro che utilizzano chip Qualcomm. Ma la missione AR di Apple in questo momento, secondo Mike Rockwell, capo dell’AR di Apple, e Allessandra McGinnis, il suo senior product manager per l’AR, è di far funzionare meglio tutto sul dispositivo che avete già in tasca. Stratificare l’AR con luoghi del mondo reale e far apparire automaticamente le esperienze, mentre si creano strumenti creativi e si sviluppano tecnologie di assistenza basate sulle capacità dell’AR, potrebbe, a lungo termine, diventare la più grande killer app.

“L’AR ha un enorme potenziale per essere utile alle persone nella loro vita attraverso i dispositivi che esistono oggi, e i dispositivi che potrebbero esistere domani, ma dobbiamo fare in modo che abbia successo”, dice Rockwell. “

Rockwell e McGinnis hanno anche parlato con me di ciò che è diverso ora rispetto a tre anni fa, e perché i telefoni contano così tanto per ciò che verrà.

La killer app AR di Apple: Il telefono che hai già

Le cuffie per la realtà virtuale come l’Oculus Quest 2, pur migliorando continuamente in qualità, non sono ancora usate da molte persone rispetto ai telefoni. “Nessuno sta veramente parlando di numeri” di cuffie VR vendute tranne Sony, che ha venduto 5 milioni di cuffie PlayStation VR finora, dice il Senior Consumer Chip Analyst Anshel Sag, di Moor Insights, anche se “c’è un’alta probabilità che potrebbe colpire 5-6 milioni di cuffie vendute nel primo anno.” Ma anche allora, quelle cuffie VR usano app che di solito si sentono rimosse dai telefoni e dai computer che usiamo tutti i giorni. Le cuffie AR non esistono ancora in numeri significativi, anche anni dopo che Magic Leap e HoloLens di Microsoft hanno promesso un futuro imminente di realtà mista.

“È stata una strada piuttosto difficile per gli sviluppatori che sono solo VR, o stanno cercando di fare esperienze solo AR”, nota Rockwell. “Non ce ne sono molti là fuori”. Nel frattempo, il numero di iPhone e iPad abilitati all’AR di Apple che risalgono al 2017 sono centinaia di milioni. “Anche se ci si rivolge solo ad una percentuale relativamente piccola, è comunque un numero gigantesco.”

Apple dice che ci sono già 10.000 app iOS abilitate all’AR da 7.000 sviluppatori, con molte focalizzate sullo shopping o sul miglioramento della casa come un modo per usare praticamente l’AR a casa. La praticità è esattamente ciò su cui Apple sembra più intenta al momento. “Volevamo fornire una piattaforma e un ecosistema per gli sviluppatori dove potessero guadagnarsi da vivere”, dice Rockwell.

Mentre la pandemia di COVID-19 ha chiuso le imprese fisiche e rallentato i viaggi per la maggior parte delle persone, lo shopping domestico con strumenti AR è una parte importante dell’attenzione di Apple in questo momento. Nello stesso modo in cui Google e Microsoft stanno perseguendo modi per vedere le cose che potresti voler comprare in 3D sul tuo telefono a casa usando strumenti AR basati sul telefono, gli agganci di Apple al suo browser Safari che permettono lo shopping AR pop-up sembrano essere dei sostituti per andare nei negozi.

“Home Depot ha scoperto che le persone hanno da due a tre volte più probabilità di convertire quando vedono un prodotto in AR rispetto ad altri che non lo fanno”, sottolinea McGinnis, citando numeri di Shopify e Build.com che mostrano una maggiore probabilità di acquistare (94%) e un tasso di ritorno inferiore del 22%.

Gli sviluppatori di applicazioni tra cui Adobe, che produce l’app creativa AR Aero per iOS di Apple, sembrano vedere l’AR basata sul telefono allo stesso modo. “Gli headset sono sulla nostra tabella di marcia, ma nessuno di loro ha raggiunto la massa critica che ha senso per noi distribuire”, dice Stefano Corrazza, capo dell’AR di Adobe, sul perché l’azienda non ha esplorato gli strumenti creativi degli headset oltre all’acquisizione di Medium da Oculus: “Finché non abbiamo un Apple o un Google che mettono qualcosa là fuori su larga scala, non ha molto senso per noi spingerlo fuori”.

Nel frattempo, gli smartphone come il nuovo iPhone 12 Pro da 999 dollari possono essere strumenti creativi primari, costruendo fino alle cuffie più avanti. “Anche con un auricolare, il telefono sarà dove avviene tutto il calcolo”, dice Corrazza. “

Questo è lo stesso modello che Qualcomm sta già costruendo per i futuri dispositivi AR/VR, ma potrebbero volerci anni. Nel frattempo, ci sono i telefoni. “Sarà il dispositivo principale per un po’ per il consumo”, dice Corrazza dell’iPhone 12 Pro, “ma anche per la scansione e i contenuti 3D, è una macchina molto potente”. Adobe non usa ancora strumenti di scansione 3D su Aero, ma potrebbe esplorare modi per incorporare queste caratteristiche lungo la strada.

Lidar come passo verso l’AR come strumento creativo

I primi passi di Apple in AR, insieme all’iPhone 8, hanno riconosciuto solo i pavimenti usando i sensori di movimento del telefono, i giroscopi e la fotocamera integrata. Poi ha riconosciuto muri e persone. Gli iPhone e gli iPad abilitati al Lidar, che spruzzano invisibilmente una serie di laser a infrarossi da un piccolo cerchio nero vicino alle telecamere posteriori, fanno un passo avanti significativo, mettendo rapidamente in rete (mappatura in 3D) le dimensioni complete di una stanza. Questo include anche gli oggetti 3D e le persone nello spazio. Si tratta di un’evoluzione del tipo di tecnologia che Google ha esplorato anni fa con una linea di telefoni Tango che rilevano la profondità, ma su una scala più avanzata e diffusa. Molte delle prime app abilitate al lidar come Polycam, 3D Scanner e Record 3D sono molto creative e incentrate sulla cattura 3D, un grande cambiamento rispetto alle app AR che evocano dinosauri e giocano nel 2017.

“Questo è parte del motivo per cui abbiamo messo questo scanner sul dispositivo. Ci sentivamo come se fosse una tecnologia chiave che potrebbe aprire un’esplosione di risorse 3D che possono essere utilizzate per tutti i tipi di cose”, dice Rockwell. “

Uno dei più grandi depositi di oggetti 3D su Internet, Sketchfab, sta già vedendo un aumento nonostante anni di precedenti esplorazioni nella scansione 3D prima di questo. Sketchfab ha appena raggiunto i 4 milioni di abbonati e ha avuto il suo primo mese redditizio da quando il servizio è iniziato nel 2012.

Ma come dice il CEO di Sketchfab Alban Denoyel, è passato attraverso momenti precedenti in cui si aspettava un boom di oggetti 3D. Quando gli auricolari VR hanno debuttato nel 2016 insieme a un paio di telefoni Tango con scansione 3D di Google, c’era molto hype. L’adozione del mercato non è avvenuta, però, portando a quello che Denoyel chiama un “inverno VR”. Ora potrebbe finalmente riprendersi.

Snapchat sta già esplorando l’uso del lidar per effetti AR che possono mettere cose virtuali nel mondo reale, e ha anche esperimenti su larga scala che scansionano interi blocchi di città. “Guardiamo alla profondità come molto fondamentale”, dice Eitan Pilipski, vicepresidente della piattaforma fotografica di Snapchat.

Anche con queste possibilità, però, trovo che imparare a usare questi nuovi strumenti può essere scoraggiante. Lo strumento di creazione AR di Apple, Reality Composer, e il toolkit creativo 3D AR di Adobe, Aero, non sono necessariamente app che si scaricano subito, e li trovo ancora app che evito. Le app di scansione 3D che ho provato finora sono affascinanti, ma anche sperimentali, e non sempre intuitive. Apple ha in gran parte messo il mondo delle app di scansione 3D nelle mani degli sviluppatori, mentre gli strumenti di base di Apple per iOS non incorporano queste caratteristiche per niente.

Il supporto di Apple per gli oggetti 3D su iOS suggerisce un modo in cui le cose 3D potrebbero essere condivise come i PDF o le foto. Ma in qualche modo, gli strumenti creativi per questo futuro non esistono ancora del tutto.

Le possibilità per la fotografia potrebbero anche essere sorprendenti, e l’app Fotocamera di Apple utilizza il lidar dell’iPhone 12 Pro per migliorare la messa a fuoco per foto notturne e ritratti. Ma Apple non incorpora l’AR nella sua app fotocamera o permette ancora qualsiasi scansione 3D. Queste idee sono lasciate agli sviluppatori da esplorare. Alcune app, come DSLR Camera, usano già il lidar dell’iPhone per creare strati personalizzati di informazioni 3D sopra i dati delle foto, stratificando il testo in 3D nelle foto.

“L’app è in grado di calcolare la segmentazione tra la persona e l’oggetto di sfondo”, dice Fulvio Scichilone, il creatore di DSLR Camera. “Il piano futuro per il ritratto AR … è quello di spostare, con il giroscopio o il dito, la cornice della foto.”

La realtà aumentata come estensione dei sensi e strumento di accessibilità

Apple vede la killer app dell’AR come scopribilità, ma c’è un’altra enorme opportunità in arrivo per l’accessibilità. L’AR può letteralmente estendere i sensi. Nel regno dell’audio, Apple usa già gli AirPods come apparecchi acustici, e Facebook sta esplorando l’audio spaziale per l’assistenza all’udito.

Lo stesso potrebbe avvenire per l’assistenza alla vista. I futuri prodotti per l’assistenza visiva, come le lenti a contatto aumentate promesse da Mojo Lens, mirano ad essere strumenti utili per gli ipovedenti. Apple potrebbe prendere una strada simile con il modo in cui l’AR sull’iPhone, e i dispositivi futuri, funzionano come strumenti di assistenza. Già, una nuova funzione di rilevamento delle persone in iOS 14.2 utilizza l’AR e il lidar di Apple per riconoscere le distanze dalle persone, e lo usa per l’assistenza visiva sui nuovi iPhone.

Questo potrebbe essere solo l’inizio. “C’è molto di più che possiamo fare, soprattutto in relazione alla nostra comprensione dell’ambiente che ci circonda”, dice Rockwell. “Siamo in grado di riconoscere le persone, ma se si pensa a ciò che un essere umano può capire di un ambiente, non c’è motivo che nella pienezza del tempo un dispositivo non possa avere anche quel livello di comprensione, e fornirlo agli sviluppatori.”

“Lavoreremo insieme alle comunità di non vedenti e ipovedenti per migliorare in particolare il lato del rilevamento delle persone”, aggiunge McGinnis.

La futura killer app della AR: Essere istantanei

Anche se mi occupo sempre di AR, ammetto che mi dimentico di cercare nuove app AR quando uso un iPhone o un iPad nella mia vita quotidiana. Scoprire cosa c’è di nuovo nel mondo virtuale mentre sono impegnato in quello reale non è un processo senza soluzione di continuità.

Rockwell vede il futuro dell’AR per iPhone non come app, ma come momenti di quick-glance. “Qualcosa che si immerge dentro e fuori tre, quattro, cinque, sei volte al giorno per fare varie cose, e sono esperienze leggere”, spiega. “La killer app è davvero che sarà utilizzata in una sorta di base regolare per tutto il tempo in questi piccoli modi che ti aiutano a fare le cose che fai oggi, che li rendono più facili e più veloci.”

La strada per questo coinvolge App Clips, il nuovo modo di Apple di avere piccole micro-app in iOS 14 che emergono su un iPhone senza bisogno di scaricare nulla. Le App Clips possono essere attivate da tag NFC o codici scannerizzabili posti nel mondo reale. Potrei scannerizzare o toccare, e improvvisamente far apparire AR relative al luogo in cui mi trovo, come un menu virtuale o una mostra in un museo portata in vita.

Ci sono anche gli sforzi di Apple per la mappatura. I nuovi Location Anchors di Apple significano che gli oggetti AR virtuali possono esistere in luoghi della vita reale – immaginate di vedere un’opera d’arte virtuale a Times Square – condivisi da più persone allo stesso tempo.

“Se è in una delle aree che abbiamo una mappatura ad alta risoluzione, che è abbastanza negli Stati Uniti … se è entro un metro, è possibile posizionare un’esperienza”, dice Rockwell di Location Anchors, promettendo un livello migliore del GPS di precisione specifica della posizione. Nel frattempo, gli App Clips, che sono innescati da particolari codici QR o ancore nel mondo reale, “possono essere fino a centimetri di precisione.”

Entrambi questi sono ancora un lavoro in corso per gli sforzi AR di Apple: In un anno di isolamento indotto dalla pandemia, potrebbe essere meno probabile che le persone siano state in luoghi pubblici o in negozi o musei dove questo tipo di tecnologia AR basata sulla localizzazione potrebbe emergere. Ma Apple li vede come cruciali per le persone che usano l’AR su base quotidiana.

“Sapevamo di dover risolvere questi problemi per far sì che l’AR diventasse un’esperienza mainstream – penso che siamo davvero all’apice per far sì che l’AR diventi qualcosa che faccia più parte della loro vita quotidiana”, dice Rockwell.

“La mia percezione è che App Clips e Anchors faranno una differenza enorme”, dice il CEO di Acute Art Jacob De Geer. Acute Art è un’app che già ospita mostre AR in luoghi del mondo reale, ma una delle sfide attuali per le persone a trovare questa arte è sapere che è lì. Il problema principale, non solo nell’AR ma in tutto ciò che riguarda la tecnologia, è: “Ehi, come fai a far scaricare la tua app alla gente?”

Un’altra sfida dell’AR è che, in realtà, non è una cosa qualsiasi. È arte 3D? È una serie di strumenti per scansionare spazialmente il mondo e percepire meglio ogni cosa? In questo modo, forse AR è invisibile. Forse è una filosofia simile a come Google vede l’AR come uno strumento di scansione del mondo.

“Spesso sentiamo che la gente usa l’AR e non sa cosa sia”, dice McGinnis, riferendosi a popolari strumenti per iPhone come la prova istantanea degli occhiali AR di Warby Parker. “Man mano che diventa sempre più mainstream, non importa se sai che è AR o no. L’importante è che tu abbia un’esperienza incredibile nel tuo dispositivo.”

Le basi del futuro sono state gettate ora

Combina la scansione 3D basata sul lidar di Apple, gli strumenti AR sempre più capaci per immagini realistiche, più l’introduzione dell’audio spaziale dell’AirPod Pro, che può far sembrare che le cose che stai ascoltando si muovano nello spazio 3D, e non è difficile immaginare un futuro auricolare AR Apple.

Apple non commenta questo. Ma nel frattempo, l’azienda sta lavorando per incoraggiare un’ondata di sviluppatori a creare applicazioni AR-ready. E se un auricolare arriverà presto o no, iPhone e iPad più consapevoli dello spazio trasformeranno i telefoni in dispositivi di scansione del mondo con le loro possibilità. O forse anche per la robotica, o come telecamere abilitate alla visione artificiale in luoghi inaspettati.

“Queste cose sono, un po’ all’inizio, una cosa delicata, e bisogna avere tutti gli elementi lì, tutti questi ingredienti, perché abbiano successo”, dice Rockwell.

“Tra qualche anno, sarà una di quelle cose di cui non ricorderete di aver vissuto senza, proprio come internet”, aggiunge. “Ti sentirai come, wow, sto usando questo su base regolare … diventerà appena integrato nelle nostre vite.”

Pubblicato per la prima volta il 20 novembre 2020 alle 4:00 a.m. PT.