En algún momento en un futuro no muy lejano, Apple supuestamente presentará un auricular de realidad aumentada o mixta. Apple aún no ha hablado de ningún casco. Pero la realidad aumentada está muy presente en el iPhone, y cada vez es mejor. El sensor lidar de detección de profundidad de Apple (disponible en el iPhone 12 Pro y los últimos iPads), con sus avanzadas posibilidades de escaneo en 3D, se siente como la columna vertebral de los auriculares de Apple del futuro en muchos sentidos.

Apple comenzó su viaje de AR en 2017, haciendo un chapoteo con muebles virtuales de Ikea y batallas de Pokemon Go al aire libre de aspecto realista. Este año, he estado de pie en las esquinas escaneando bocas de incendio con el nuevo iPhone 12 Pro de Apple. He mapeado el interior de mi casa. He navegado por ríos de lava en mis pisos.

Facebook, Microsoft y Magic Leap ya están explorando gafas y anteojos que apuntan a mezclar lo virtual y lo real, con más auriculares que vendrán en el futuro usando chips de Qualcomm. Pero la misión de Apple en materia de realidad aumentada, según Mike Rockwell, director de realidad aumentada de Apple, y Allessandra McGinnis, directora de productos de realidad aumentada, es hacer que todo funcione mejor en el dispositivo que ya tienes en el bolsillo. La incorporación de la RA a lugares del mundo real y la aparición de experiencias de forma automática, al tiempo que se crean herramientas creativas y se desarrolla tecnología de asistencia basada en las capacidades de la RA, podrían convertirse, a largo plazo, en las mayores aplicaciones asesinas.

«La RA tiene un enorme potencial para ser útil a la gente en sus vidas a través de los dispositivos que existen hoy y de los que pueden existir mañana, pero tenemos que asegurarnos de que tenga éxito», afirma Rockwell. «Para nosotros, la mejor manera de hacerlo es habilitar nuestro ecosistema de dispositivos, de modo que sea un lugar saludable y rentable para que la gente invierta su tiempo y esfuerzo».

Rockwell y McGinnis también hablaron conmigo sobre lo que es diferente ahora en comparación con hace tres años, y por qué los teléfonos importan tanto para lo que viene.

La killer AR app de Apple: El teléfono que ya tienes

Los auriculares de realidad virtual como el Oculus Quest 2, aunque mejoran continuamente su calidad, todavía no son utilizados por mucha gente en comparación con los teléfonos. «Nadie está hablando realmente de números» de auriculares de RV vendidos, excepto Sony, que ha vendido 5 millones de auriculares PlayStation VR hasta ahora, dice el analista senior de chips de consumo Anshel Sag, de Moor Insights, aunque «hay una alta probabilidad de que pueda llegar a 5-6 millones de auriculares vendidos en el primer año.» Pero incluso entonces, esos auriculares de RV utilizan aplicaciones que suelen estar alejadas de los teléfonos y ordenadores que usamos a diario. Los auriculares de realidad aumentada todavía no existen en cantidades significativas, incluso años después de que Magic Leap y las HoloLens de Microsoft prometieran un futuro inminente de realidad mixta.

«Ha sido un camino bastante difícil para los desarrolladores que son sólo de RV, o que intentan hacer experiencias sólo de RA», señala Rockwell. «Simplemente no hay muchos ahí fuera». Mientras tanto, los números absolutos de Apple de iPhones y iPads habilitados para AR que se remontan a 2017 se cuentan por cientos de millones. «Incluso si solo atraes a un porcentaje relativamente pequeño, sigue siendo un número gigantesco».

Apple dice que ya hay 10.000 aplicaciones de iOS habilitadas para AR de 7.000 desarrolladores, con muchas centradas en las compras o en la mejora del hogar como una forma de usar prácticamente la AR en casa. La practicidad es exactamente lo que Apple parece más atento en este momento. «Queríamos proporcionar una plataforma y un ecosistema para los desarrolladores donde pudieran ganarse la vida», dice Rockwell.

Mientras que la pandemia de COVID-19 ha cerrado los negocios físicos y ha ralentizado los viajes para la mayoría de la gente, las compras en casa utilizando herramientas de RA son una parte importante del enfoque de Apple en este momento. De la misma manera que Google y Microsoft están buscando formas de ver las cosas que podrías querer comprar en 3D en tu teléfono en casa usando herramientas de RA basadas en el teléfono, los ganchos de Apple en su navegador Safari que permiten las compras de RA emergentes parecen ser sustitutivos de ir a las tiendas.

«Home Depot’s ha descubierto que las personas tienen entre dos y tres veces más probabilidades de convertir cuando ven un producto en RA que otras que no lo ven», señala McGinnis, citando cifras de Shopify y Build.com que muestran una mayor probabilidad de compra (94%) y una tasa de devoluciones un 22% menor.

Los desarrolladores de aplicaciones, incluido Adobe, que fabrica la aplicación creativa de RA Aero para iOS de Apple, parecen ver la RA basada en el teléfono de la misma manera. «Los auriculares están en nuestra hoja de ruta, ninguno de ellos ha alcanzado la masa crítica que tiene sentido para nosotros para desplegar», dice el jefe de AR de Adobe, Stefano Corrazza, en cuanto a por qué la compañía no ha explorado las herramientas creativas de auriculares más allá de la adquisición de Medium de Oculus: «Hasta que tengamos un Apple o Google poniendo algo a gran escala, no tiene mucho sentido para nosotros impulsarlo.»

Mientras tanto, los teléfonos inteligentes como el nuevo iPhone 12 Pro de 999 dólares pueden ser herramientas creativas primarias, construyendo auriculares más adelante. «Incluso con unos auriculares, el teléfono será donde se produzca todo el cómputo», dice Corrazza. «Y puedes transmitir a las gafas potencialmente».

Ese es el mismo modelo que Qualcomm ya está construyendo para futuros dispositivos AR/VR, también, pero podría llevar años. Mientras tanto, hay teléfonos. «Va a ser el dispositivo principal durante un tiempo para consumir», dice Corrazza sobre el iPhone 12 Pro, «pero también para el escaneo y el contenido 3D, es una máquina muy potente». Adobe aún no utiliza herramientas de escaneo 3D en Aero, pero podría estar explorando formas de incorporar esas funciones más adelante.

Lidar como paso hacia la RA como herramienta creativa

Los primeros pasos de Apple en la RA, junto al iPhone 8, se limitaron a reconocer suelos utilizando los sensores de movimiento, los giroscopios y la cámara integrada del teléfono. Luego reconoció paredes y personas. Los iPhones y iPads con Lidar, que rocían invisiblemente un conjunto de láseres infrarrojos desde un pequeño círculo negro cerca de las cámaras traseras, van un paso más allá al mallar rápidamente (mapear en 3D) las dimensiones completas de una habitación. Eso incluye también los objetos en 3D y las personas que se encuentran en el espacio. Es una evolución del tipo de tecnología que Google exploró hace años con una línea de teléfonos Tango con sensor de profundidad, pero a una escala más avanzada y generalizada. Muchas de las primeras aplicaciones con lidar, como Polycam, 3D Scanner y Record 3D, son muy creativas y se centran en la captura en 3D, un gran cambio con respecto a las aplicaciones de RA que conjuran dinosaurios y juegan en 2017.

«Esa es parte de la razón por la que pusimos este escáner en el dispositivo. Sentimos que era una tecnología clave que podría abrir una explosión de activos 3D que se pueden utilizar para todo tipo de cosas», dice Rockwell. «También abre la posibilidad de poder empezar a escanear entornos de alguna manera, y poder facilitar la creación de objetos 3D.»

Uno de los mayores repositorios de objetos 3D en Internet, Sketchfab, ya está viendo un repunte a pesar de los años de exploraciones previas en el escaneo 3D antes de esto. Sketchfab acaba de llegar a los 4 millones de suscriptores y tuvo su primer mes rentable desde que el servicio comenzó en 2012.

Pero como dice el CEO de Sketchfab, Alban Denoyel, ha pasado por épocas anteriores en las que esperaba un boom de objetos 3D. Cuando los auriculares de RV debutaron en 2016 junto con un par de teléfonos Tango con escaneo 3D de Google, hubo mucho bombo. Sin embargo, la adopción del mercado no se produjo, dando lugar a lo que Denoyel llama un «invierno de la RV». Puede que ahora por fin se esté recuperando.

Snapchat ya está explorando el uso de lidar para efectos de RA que puedan poner cosas virtuales en el mundo real, e incluso tiene experimentos a mayor escala escaneando manzanas enteras de la ciudad. «Vemos la profundidad como algo muy fundacional», dice el vicepresidente de la plataforma de cámaras de Snapchat, Eitan Pilipski.

Incluso con estas posibilidades, me parece que aprender a usar estas nuevas herramientas puede ser desalentador. La propia herramienta de creación de RA de Apple, Reality Composer, y el kit de herramientas creativas de RA en 3D de Adobe, Aero, no son necesariamente aplicaciones que se descarguen de inmediato, y todavía me parece que son aplicaciones que evito. Las aplicaciones de exploración 3D que he probado hasta ahora son fascinantes, pero también experimentales y no siempre intuitivas. Apple ha puesto en gran medida el mundo de las aplicaciones de escaneo 3D en manos de los desarrolladores, mientras que las herramientas cotidianas de iOS no incorporan estas características en absoluto.

La compatibilidad de Apple con los objetos 3D en todo el sistema iOS sugiere una forma en que las cosas en 3D podrían eventualmente ser compartidas como los PDF o las fotos. Pero en cierto modo, las herramientas creativas para este futuro aún no existen del todo.

Las posibilidades para la fotografía también podrían ser increíbles, y la propia app Cámara de Apple utiliza el lidar del iPhone 12 Pro para mejorar el enfoque en las fotos nocturnas y los retratos. Pero Apple no incorpora la RA en su app de cámara ni permite aún ningún tipo de escaneo 3D. Esas ideas se dejan a los desarrolladores para que las exploren. Algunas aplicaciones, como DSLR Camera, ya utilizan el lidar del iPhone para crear capas personalizadas de información 3D sobre los datos de la foto, superponiendo texto en 3D en las fotos.

«La app es capaz de calcular la segmentación entre la persona y el objeto de fondo», dice Fulvio Scichilone, creador de DSLR Camera. «El plan de futuro para el retrato AR (…) es mover, con el giroscopio o el dedo, el marco de la foto».

La realidad aumentada como extensión de los sentidos y herramienta de accesibilidad

Apple considera que la aplicación estrella de la RA es la capacidad de descubrimiento, pero hay otra gran oportunidad para la accesibilidad. La RA puede ampliar literalmente los sentidos. En el ámbito del audio, Apple ya utiliza los AirPods como audífonos, y Facebook también está explorando el audio espacial para la asistencia auditiva.

Lo mismo podría ocurrir con la asistencia a la vista. Los futuros productos de asistencia a la visión, como las prometidas lentes de contacto aumentadas de Mojo Lens, pretenden ser herramientas útiles para las personas con problemas de visión. Apple podría seguir un camino similar con el funcionamiento de la RA en el iPhone y en futuros dispositivos como herramientas de asistencia. Ya hay una nueva función de detección de personas en iOS 14.2 que utiliza la RA y el lidar de Apple para reconocer las distancias de las personas, y la utiliza para la asistencia visual en los nuevos iPhones.

Eso podría ser solo el principio. «Hay mucho más que podemos hacer, especialmente relacionado con nuestra comprensión del entorno que nos rodea», dice Rockwell. «Podemos reconocer a las personas, pero si piensas en lo que un ser humano puede entender sobre un entorno, no hay razón para que en la plenitud del tiempo un dispositivo no pueda tener ese nivel de comprensión, también, y proporcionar eso a los desarrolladores.»Trabajaremos con las comunidades de ciegos y deficientes visuales para mejorar la detección de personas», añade McGinnis.

La futura aplicación asesina de la RA: Ser instantáneo

Aunque cubro la RA todo el tiempo, admito que me olvido de buscar nuevas aplicaciones de RA cuando uso un iPhone o un iPad en mi vida diaria. Descubrir las novedades del mundo virtual mientras estoy ocupado en el real no es un proceso fluido.

Rockwell ve el futuro de la RA en el iPhone no como aplicaciones, sino como momentos rápidos. «Algo en lo que entras y sales tres, cuatro, cinco, seis veces al día para hacer varias cosas, y son experiencias ligeras», explica. «La aplicación asesina es realmente que se va a utilizar en una especie de base regular todo el tiempo en estas pequeñas formas que le ayudan a hacer las cosas que usted hace hoy, que los hacen más fácil y más rápido.»

El camino hacia eso implica App Clips, la nueva forma de Apple de tener pequeñas micro-apps en iOS 14 que surgen en un iPhone sin necesidad de descargar nada. Los App Clips pueden activarse mediante etiquetas NFC o códigos escaneables colocados en el mundo real. Podría escanear o tocar y, de repente, aparecer la RA relacionada con el lugar en el que estoy, como un menú virtual o una exposición en un museo que cobra vida.

También implica los esfuerzos de Apple en materia de mapas. Los nuevos Location Anchors de Apple significan que los objetos virtuales de RA pueden existir en lugares de la vida real -imagina ver una obra de arte virtual en Times Square- compartidos por varias personas al mismo tiempo.

«Si está en una de las zonas en las que tenemos cartografía de alta resolución, que es bastante en Estados Unidos… si está a menos de un metro, puedes situar una experiencia», dice Rockwell sobre los Location Anchors, que prometen un nivel de precisión de localización superior al GPS. Por su parte, los App Clips, que se activan mediante códigos QR o anclajes concretos en el mundo real, «pueden tener una precisión de hasta centímetros»

Ambos son todavía un trabajo en curso para los esfuerzos de RA de Apple: En un año de aislamiento inducido por la pandemia, puede ser menos probable que la gente haya estado en lugares públicos o en tiendas o museos donde este tipo de tecnología AR basada en la localización podría surgir. Pero Apple las considera cruciales para las personas que utilizan la RA a diario.

«Sabíamos que teníamos que resolver esos problemas para que la realidad aumentada se convirtiera en una experiencia generalizada; creo que estamos en la cúspide para que la realidad aumentada se convierta en algo que forme parte de su vida cotidiana», afirma Rockwell. Acute Art es una aplicación que ya alberga exposiciones de RA en lugares del mundo real, pero uno de los retos actuales para que la gente encuentre este arte es saber que está ahí. El principal problema, no sólo en la RA, sino en todo lo relacionado con la tecnología, es: «¿Cómo consigues que la gente se descargue tu aplicación?»

Otro de los retos de la RA es que, en realidad, no se trata de una sola cosa. ¿Es arte 3D? ¿Es una serie de herramientas para escanear el mundo espacialmente y sentirlo todo mejor? En ese sentido, quizá la RA sea invisible. Tal vez sea una filosofía similar a la de Google, que ve la RA como una herramienta para escanear el mundo.

«A menudo oímos que la gente utiliza la RA y no sabe lo que es», dice McGinnis, refiriéndose a las populares herramientas del iPhone, como la prueba instantánea de gafas con RA de Warby Parker. «A medida que se generaliza, no importa si sabes que es RA o no. Lo que importa es que tengas una experiencia increíble en tu dispositivo».

Las bases del futuro se están sentando ahora

Combina el escaneo 3D basado en lidar de Apple, las herramientas de RA cada vez más capaces de Apple para obtener visuales realistas, más la introducción del audio espacial de los AirPods Pro, que puede hacer que las cosas que estás escuchando suenen como si se movieran en el espacio 3D, y no es difícil imaginar un futuro auricular de RA de Apple.

Apple no quiere hacer comentarios al respecto. Pero mientras tanto, la empresa está trabajando para animar a una oleada de desarrolladores a crear aplicaciones preparadas para la RA. Y, independientemente de que los auriculares lleguen pronto, los iPhones y iPads con mayor conciencia espacial transformarán los teléfonos en dispositivos de escaneo del mundo con sus propias posibilidades. O tal vez incluso para la robótica, o como cámaras habilitadas para la visión por ordenador en lugares inesperados.

«Estas cosas son, en cierto modo al principio, algo delicado, y hay que tener todos los elementos ahí, todos estos ingredientes, para que tengan éxito», dice Rockwell.

«Dentro de unos años, será una de esas cosas en las que no podrás recordar cómo era la vida sin ella, al igual que Internet», añade. «Te vas a sentir como, wow, estoy usando esto de forma regular … se convertirá simplemente en algo integrado en nuestras vidas.»

Publicado por primera vez el 20 de noviembre de 2020 a las 4:00 a.m. PT.