Dans un avenir pas si lointain, Apple dévoilerait un casque de réalité augmentée ou mixte. Apple n’a pas encore parlé d’un quelconque casque. Mais la réalité augmentée est bel et bien présente sur l’iPhone, et elle ne fait que s’améliorer. Le capteur lidar à détection de profondeur d’Apple (disponible sur l’iPhone 12 Pro et les derniers iPads), avec ses possibilités avancées de balayage 3D, se sent comme l’épine dorsale des casques Apple du futur à bien des égards.

Apple a commencé son voyage AR en 2017, faisant sensation avec des meubles Ikea virtuels et des batailles Pokemon Go en extérieur à l’aspect réaliste. Cette année, je me suis retrouvé au coin des rues à scanner des bouches d’incendie avec le nouvel iPhone 12 Pro d’Apple. J’ai cartographié l’intérieur de ma maison. J’ai navigué dans des rivières de lave sur mes sols.

Facebook, Microsoft et Magic Leap explorent déjà des lunettes et des goggles qui visent à mélanger le virtuel et le réel, avec plus de casques à venir utilisant des puces Qualcomm. Mais la mission d’Apple en matière de réalité augmentée, selon Mike Rockwell, responsable de la réalité augmentée chez Apple, et Allessandra McGinnis, chef de produit senior pour la réalité augmentée, est de faire en sorte que tout fonctionne mieux sur l’appareil que vous avez déjà dans votre poche. La superposition de la RA à des lieux du monde réel et l’apparition automatique d’expériences, tout en créant des outils créatifs et en développant des technologies d’assistance basées sur les capacités de la RA, pourraient, à long terme, devenir les plus grandes applications tueuses.

« La RA a un énorme potentiel pour être utile aux gens dans leur vie sur les appareils qui existent aujourd’hui, et sur les appareils qui pourraient exister demain, mais nous devons nous assurer que c’est un succès », dit Rockwell. « Pour nous, la meilleure façon de le faire est d’activer notre écosystème d’appareils, de sorte que ce soit un endroit sain et rentable pour que les gens investissent leur temps et leurs efforts. »

Rockwell et McGinnis ont également parlé avec moi de ce qui est différent aujourd’hui par rapport à il y a trois ans, et pourquoi les téléphones comptent tant pour ce qui vient.

La killer AR app d’Apple : Le téléphone que vous avez déjà

Les casques de réalité virtuelle comme l’Oculus Quest 2, bien que leur qualité ne cesse de s’améliorer, ne sont toujours pas utilisés par beaucoup de gens par rapport aux téléphones. « Personne ne parle vraiment de chiffres » de casques VR vendus, à l’exception de Sony, qui a vendu 5 millions de casques PlayStation VR jusqu’à présent, déclare Anshel Sag, analyste principal des puces de consommation, de Moor Insights, bien qu' »il y ait une forte probabilité que cela atteigne 5 à 6 millions de casques vendus au cours de la première année. » Mais même dans ce cas, ces casques VR utilisent des applications qui semblent généralement éloignées des téléphones et des ordinateurs que nous utilisons tous les jours. Les casques AR n’existent pas encore en nombre significatif, même des années après que Magic Leap et le HoloLens de Microsoft aient promis un avenir imminent de réalité mixte.

« La route a été assez difficile pour les développeurs qui sont VR-only, ou qui essaient de faire des expériences AR-only », note Rockwell. « Il n’y en a tout simplement pas tant que ça sur le marché ». Pendant ce temps, le nombre d’iPhones et d’iPads d’Apple compatibles avec la RA datant de 2017 se compte en centaines de millions. « Même si vous ne faites appel qu’à un pourcentage relativement faible, cela reste un nombre gigantesque. »

Apple dit qu’il y a déjà 10 000 applications iOS compatibles avec la RA provenant de 7 000 développeurs, dont beaucoup sont axées sur le shopping ou l’amélioration de la maison comme moyen d’utiliser pratiquement la RA à la maison. L’aspect pratique est exactement ce qu’Apple semble vouloir privilégier pour l’instant. « Nous voulions fournir une plate-forme et un écosystème pour les développeurs où ils pourraient gagner leur vie », dit Rockwell.

Alors que la pandémie de COVID-19 a fermé les commerces physiques et ralenti les voyages pour la plupart des gens, le shopping à domicile à l’aide d’outils de RA est une partie importante de l’objectif d’Apple en ce moment. De la même manière que Google et Microsoft recherchent des moyens de voir les choses que vous pourriez vouloir acheter en 3D sur votre téléphone à la maison en utilisant des outils AR basés sur le téléphone, les accroches d’Apple à son navigateur Safari permettant des achats AR pop-up semblent être des stand-ins pour aller dans les magasins.

« Home Depot a constaté que les gens sont deux à trois fois plus susceptibles de convertir lorsqu’ils voient un produit en AR que d’autres qui ne le font pas », souligne McGinnis, citant des chiffres de Shopify et Build.com qui montrent une plus grande probabilité d’achat (94 %) et un taux de retour inférieur de 22 %.

Les développeurs d’applications, dont Adobe, qui fabrique l’application de création en RA Aero pour iOS d’Apple, semblent voir la RA sur téléphone de la même façon. « Les casques sont sur notre feuille de route, Aucun d’entre eux n’a atteint la masse critique qu’il est logique pour nous de déployer », Stefano Corrazza, responsable de la RA chez Adobe, explique pourquoi la société n’a pas exploré les outils de création de casque au-delà de l’acquisition de Medium auprès d’Oculus : « Tant que nous n’avons pas un Apple ou un Google qui met quelque chose sur le marché à grande échelle, cela n’a pas beaucoup de sens pour nous de le pousser. »

En attendant, les smartphones comme le nouvel iPhone 12 Pro à 999 $ peuvent être des outils de création primaires, se construisant jusqu’aux casques en aval. « Même avec un casque, le téléphone sera l’endroit où tous les calculs se produisent », dit Corrazza. « Et vous pouvez potentiellement streamer vers les lunettes. »

C’est le même modèle que Qualcomm est déjà en train de construire pour les futurs dispositifs AR/VR, aussi, mais cela pourrait prendre des années. En attendant, il y a les téléphones. « Ce sera l’appareil principal pendant un certain temps pour consommer », dit Corrazza à propos de l’iPhone 12 Pro, « mais aussi pour la numérisation et le contenu 3D, c’est une machine très puissante. » Adobe n’utilise pas encore d’outils de numérisation 3D sur Aero, mais pourrait explorer des moyens d’intégrer ces fonctionnalités en cours de route.

Lidar comme étape vers la RA comme outil créatif

Les premiers pas d’Apple dans la RA, aux côtés de l’iPhone 8, ont juste reconnu les sols en utilisant les capteurs de mouvement du téléphone, les gyroscopes et la caméra intégrée. Ensuite, il a reconnu les murs et les personnes. Les iPhones et iPads équipés de lidar, qui pulvérisent de manière invisible un ensemble de lasers infrarouges à partir d’un petit cercle noir situé près des caméras arrière, vont beaucoup plus loin en maillant rapidement (cartographie en 3D) les dimensions complètes d’une pièce. Cela inclut également les objets 3D et les personnes présentes dans l’espace. Il s’agit d’une évolution du type de technologie que Google a explorée il y a plusieurs années avec une gamme de téléphones Tango à détection de profondeur, mais à une échelle plus avancée et plus étendue. Un grand nombre des premières applications compatibles avec le lidar, comme Polycam, 3D Scanner et Record 3D, sont très créatives et axées sur la capture 3D, ce qui représente un grand changement par rapport aux applications de RA de 2017 qui faisaient rêver les dinosaures et jouaient à des jeux.

« C’est en partie la raison pour laquelle nous avons mis ce scanner sur l’appareil. Nous avions le sentiment que c’était une technologie clé qui pouvait ouvrir une explosion d’actifs 3D pouvant être utilisés pour toutes sortes de choses », explique Rockwell. « Cela ouvre également la possibilité de pouvoir commencer à scanner les environnements d’une certaine manière, et d’être en mesure de faciliter la création d’objets 3D. »

L’un des plus grands référentiels d’objets 3D sur Internet, Sketchfab, connaît déjà une hausse malgré des années d’explorations précédentes dans la numérisation 3D avant cela. Sketchfab vient d’atteindre 4 millions d’abonnés et a connu son premier mois rentable depuis le début du service en 2012.

Mais comme le dit Alban Denoyel, PDG de Sketchfab, il a traversé des périodes précédentes où il s’attendait à un boom des objets 3D. Lorsque les casques VR ont fait leurs débuts en 2016, ainsi que quelques téléphones Tango à balayage 3D de Google, il y a eu beaucoup de battage médiatique. Mais l’adoption par le marché n’a pas eu lieu, ce qui a conduit à ce que Denoyel appelle un « hiver VR ». Il pourrait enfin reprendre maintenant.

Snapchat explore déjà l’utilisation du lidar pour les effets AR qui peuvent mettre des choses virtuelles dans le monde réel, et a même des expériences à plus grande échelle qui scannent des blocs de ville entiers. « Nous considérons la profondeur comme très fondatrice », déclare Eitan Pilipski, vice-président de la plateforme de caméras de Snapchat.

Même avec ces possibilités, cependant, je trouve qu’apprendre à utiliser ces nouveaux outils peut être décourageant. L’outil de création AR d’Apple, Reality Composer, et la boîte à outils de création AR 3D d’Adobe, Aero, ne sont pas nécessairement des apps que vous allez télécharger instantanément, et je les trouve encore être des apps que j’évite. Les applications de numérisation 3D que j’ai essayées jusqu’à présent sont fascinantes, mais aussi expérimentales et pas toujours intuitives. Apple a largement mis le monde des apps de numérisation 3D entre les mains des développeurs, alors que les outils de base quotidiens d’iOS n’intègrent pas beaucoup ces fonctionnalités.

La prise en charge des objets 3D par iOS à l’échelle de l’ensemble de l’entreprise suggère une façon dont les choses en 3D pourraient éventuellement être partagées comme des PDF ou des photos. Mais à certains égards, les outils créatifs de cet avenir n’existent pas encore complètement.

Les possibilités pour la photographie pourraient également être étonnantes, et la propre application Appareil photo d’Apple utilise le lidar de l’iPhone 12 Pro pour améliorer la mise au point pour les photos de nuit et les portraits. Mais Apple n’incorpore pas encore la RA dans son appli Appareil photo et ne permet pas de scanner en 3D. Ces idées sont laissées aux développeurs pour qu’ils les explorent. Certaines applis, comme DSLR Camera, utilisent déjà le lidar de l’iPhone pour créer des couches personnalisées d’informations 3D par-dessus les données des photos, superposant du texte en 3D dans les photos.

« L’application est capable de calculer la segmentation entre la personne et l’objet en arrière-plan », explique Fulvio Scichilone, le créateur de DSLR Camera. « Le futur plan pour le portrait AR… est de déplacer, avec le gyroscope ou votre doigt, le cadre de la photo. »

La réalité augmentée comme extension des sens, et un outil d’accessibilité

Apple voit la killer app de la RA être la découvrabilité, mais il y a une autre énorme opportunité qui arrive pour l’accessibilité. La RA peut littéralement étendre les sens d’une personne. Dans le domaine de l’audio, Apple utilise déjà les AirPods comme aides auditives, et Facebook explore l’audio spatial pour l’assistance auditive également.

La même chose pourrait arriver pour l’assistance visuelle. Les futurs produits d’assistance à la vision, comme les lentilles de contact augmentées promises par Mojo Lens, visent à être des outils utiles pour les malvoyants. Apple pourrait suivre une voie similaire avec la façon dont la RA sur l’iPhone, et les futurs appareils, fonctionnent comme outils d’assistance. Déjà, une nouvelle fonction de détection des personnes dans iOS 14.2 utilise la RA et le lidar d’Apple pour reconnaître les distances des personnes, et utilise cela pour l’assistance visuelle sur les nouveaux iPhones.

Cela pourrait n’être que le début. « Nous pouvons faire beaucoup plus, notamment en ce qui concerne notre compréhension de l’environnement qui nous entoure », explique Rockwell. « Nous pouvons reconnaître les gens, mais si vous pensez à ce qu’un être humain peut comprendre d’un environnement, il n’y a aucune raison pour que, dans la plénitude du temps, un appareil ne puisse pas avoir ce niveau de compréhension, aussi, et fournir cela aux développeurs. »

« Nous allons travailler ensemble avec les communautés d’aveugles et de malvoyants pour améliorer spécifiquement le côté détection des personnes », ajoute McGinnis.

La future killer app de l’AR : Être instantané

Même si je couvre la RA tout le temps, j’admets que j’oublie de chercher les nouvelles applications de RA lorsque j’utilise un iPhone ou un iPad dans ma vie quotidienne. Découvrir les nouveautés du monde virtuel alors que je suis occupé dans le monde réel n’est pas un processus transparent.

Rockwell voit l’avenir de la RA sur iPhone non pas comme des applications, mais comme des moments de coup d’œil rapide. « Quelque chose que vous plongez dans et hors de trois, quatre, cinq, six fois par jour pour faire diverses choses, et ce sont des expériences légères », explique-t-il. « La killer app est vraiment qu’elle va être utilisée de manière un peu régulière tout le temps dans ces petites façons qui vous aident à faire les choses que vous faites aujourd’hui, qui les rendent plus faciles et plus rapides. »

La route vers cela implique App Clips, la nouvelle façon d’Apple d’avoir de petites micro-applications dans iOS 14 qui émergent sur un iPhone sans avoir besoin de télécharger quoi que ce soit. Les App Clips peuvent être déclenchés par des tags NFC ou des codes scannables placés dans le monde réel. Je pourrais scanner ou tapoter, et faire apparaître soudainement une AR liée au lieu où je me trouve, comme un menu virtuel ou une exposition de musée rendue vivante.

Cela implique également les efforts d’Apple en matière de cartographie. Les nouvelles ancres de localisation d’Apple signifient que les objets AR virtuels peuvent exister dans des lieux réels – imaginez voir une œuvre d’art virtuelle à Times Square – partagés par plusieurs personnes en même temps.

« Si c’est dans l’une des zones où nous avons une cartographie haute résolution, ce qui est assez important aux États-Unis … si c’est à moins d’un mètre, vous pouvez placer une expérience », dit Rockwell à propos des ancres de localisation, promettant un niveau de précision spécifique à l’emplacement meilleur que le GPS. Pendant ce temps, les App Clips, qui sont déclenchés par des codes QR ou des ancres particulières dans le monde réel, « peuvent descendre à des centimètres de précision. »

Ces deux éléments sont encore un travail en cours pour les efforts d’Apple en matière de RA : Dans une année d’isolement induit par une pandémie, il est peut-être moins probable que les gens aient été dans des lieux publics ou dans des magasins ou des musées où ce type de technologie AR basée sur la localisation pourrait émerger. Mais Apple les considère comme cruciales pour les personnes utilisant la RA au quotidien.

« Nous savions que nous devions résoudre ces problèmes pour que la RA devienne une expérience grand public — je pense que nous sommes vraiment tout à fait sur le point de le faire pour que les gens aient la RA qui fasse davantage partie de leur vie quotidienne », dit Rockwell.

« Ma perception est que les App Clips et les ancres feront une différence massive », dit Jacob De Geer, PDG d’Acute Art. Acute Art est une application qui accueille déjà des expositions de RA dans des lieux du monde réel, mais l’un des défis actuels pour que les gens trouvent cet art est de savoir qu’il est là. Le principal problème, non seulement dans le domaine de la réalité augmentée, mais aussi dans tous les domaines de la technologie, est le suivant : « Comment faire en sorte que les gens téléchargent votre application ? »

L’autre défi de la réalité augmentée est qu’il ne s’agit pas d’une seule et même chose. Est-ce de l’art 3D ? Est-ce une série d’outils pour scanner spatialement le monde et mieux sentir tout ? Dans ce sens, la RA est peut-être invisible. C’est peut-être une philosophie similaire à celle de Google qui voit la RA comme un outil de balayage du monde.

« Souvent, nous entendons dire que les gens utilisent la RA et ne savent pas ce que c’est », dit McGinnis, faisant référence à des outils iPhone populaires comme l’essai instantané de lunettes à RA de Warby Parker. « Au fur et à mesure que le phénomène se généralise, il importe peu que vous sachiez qu’il s’agit de RA ou non. Ce qui compte, c’est que vous ayez une expérience incroyable dans votre appareil. »

Les bases de l’avenir sont posées dès maintenant

Combinez la numérisation 3D basée sur le lidar d’Apple, les outils de RA de plus en plus performants d’Apple pour des visuels réalistes, plus l’introduction de l’audio spatial par l’AirPod Pro, qui peut donner aux choses que vous écoutez l’impression qu’elles se déplacent dans l’espace 3D, et il n’est pas difficile d’imaginer un futur casque de RA d’Apple.

Apple ne veut pas faire de commentaires à ce sujet. Mais en attendant, la société s’efforce d’encourager une vague de développeurs à créer des applications AR-ready. Et qu’un casque soit bientôt disponible ou non, des iPhones et iPads plus conscients de l’espace transformeront les téléphones en dispositifs de balayage du monde avec leurs propres possibilités. Ou peut-être même pour la robotique, ou comme caméras à vision par ordinateur dans des endroits inattendus.

« Ces choses sont, en quelque sorte au début, une chose délicate, et vous devez avoir tous les éléments là, tous ces ingrédients, pour qu’elles soient réussies », dit Rockwell.

« Dans quelques années, ce sera l’une de ces choses où vous ne pourrez plus vous souvenir d’avoir vécu sans, tout comme Internet », ajoute-t-il. « Vous allez vous sentir comme, wow, j’utilise cela sur une base régulière … il deviendra juste intégré dans nos vies. »

Première publication le 20 novembre 2020 à 4h00 PT.