Em algum momento, num futuro não muito distante, a Apple irá revelar um auricular de realidade aumentada ou mista. A Apple ainda não discutiu nenhum fone de ouvido. Mas a realidade aumentada está viva e bem no iPhone — e só está melhorando. O sensor de sensor de profundidade da Apple (disponível no iPhone 12 Pro e nos iPads mais recentes), com suas possibilidades avançadas de digitalização 3D, parece a espinha dorsal dos fones de ouvido Apple do futuro de muitas maneiras.

A Apple começou sua jornada de AR em 2017, fazendo um splash com móveis Ikea virtuais e batalhas Pokemon Go ao ar livre de aparência realista. Este ano, tenho estado nas esquinas da rua a analisar bocas de incêndio com o novo iPhone 12 Pro da Apple. Eu mapeei o interior da minha casa. Naveguei rios de lava em meus andares.

Facebook, Microsoft e Magic Leap já estão explorando óculos e óculos que visam misturar o virtual e o real, com mais fones de ouvido vindo no futuro usando chips da Qualcomm. Mas a missão da Apple no AR neste momento, de acordo com Mike Rockwell, chefe da Apple no AR, e Allessandra McGinnis, sua gerente de produto sênior do AR, é fazer tudo funcionar melhor no dispositivo que você já tem no seu bolso. A criação de camadas do RA com localizações no mundo real e experiências que surgem automaticamente, ao mesmo tempo que cria ferramentas criativas e desenvolve tecnologia de assistência baseada nas capacidades do RA, pode, a longo prazo, tornar-se o maior aplicativo assassino.

“O RA tem um enorme potencial para ser útil para as pessoas em suas vidas através de dispositivos que existem hoje, e dispositivos que podem existir amanhã, mas temos que ter certeza de que ele é bem sucedido”, diz Rockwell. “Para nós, a melhor maneira de fazer isso é habilitar nosso ecossistema de dispositivos, para que seja um lugar saudável e lucrativo para as pessoas investirem seu tempo e esforço”

Rockwell e McGinnis também conversaram comigo sobre o que é diferente agora em comparação com três anos atrás, e por que os telefones importam tanto para o que vem a seguir.

Apple’s killer AR app: O telefone que já tem

Fones de ouvido de realidade virtual como o Oculus Quest 2, embora melhorando continuamente em qualidade, ainda não são usados por muitas pessoas em comparação com os telefones. “Ninguém está realmente falando sobre números” dos fones de ouvido VR vendidos, exceto a Sony, que vendeu 5 milhões de fones de ouvido PlayStation VR até o momento, diz o analista sênior de chips de consumo Anshel Sag, da Moor Insights, embora “haja uma alta probabilidade de atingir 5-6 milhões de fones de ouvido vendidos no primeiro ano”. Mas mesmo assim, esses fones de ouvido VR usam aplicativos que normalmente se sentem removidos dos telefones e computadores que usamos todos os dias. Os fones de ouvido AR ainda não existem em números significativos, mesmo anos após o Magic Leap e a HoloLens da Microsoft prometeram um futuro iminente de realidade mista.

“Tem sido um caminho bastante difícil para desenvolvedores que são apenas VR, ou estão tentando fazer experiências apenas AR”, observa Rockwell. “Não há assim tantos por aí.” Enquanto isso, os números da Apple de iPhones e iPads habilitados para AR datam de 2017, em centenas de milhões. “Mesmo se você só apela para uma porcentagem relativamente pequena, esse ainda é um número gigantesco”

A Apple diz que já existem 10.000 aplicativos iOS habilitados para AR de 7.000 desenvolvedores, com muitos focados em compras ou melhorias em casa como uma forma de praticamente usar AR em casa. Praticidade é exatamente o que a Apple mais parece querer no momento. “Queríamos fornecer uma plataforma e um ecossistema para desenvolvedores onde eles pudessem ganhar a vida”, diz Rockwell.

Embora a pandemia de COVID-19 tenha encerrado negócios físicos e atrasado as viagens para a maioria das pessoas, as compras em casa usando ferramentas de RA é uma parte importante do foco da Apple neste momento. Da mesma forma que o Google e a Microsoft estão buscando maneiras de ver coisas que você pode querer comprar em 3D no seu telefone em casa usando ferramentas de RA baseadas no telefone, os hook-ins da Apple para o seu navegador Safari permitem que o visual de compras de RA pop-up seja de fácil acesso para ir às lojas.

“O Home Depot descobriu que as pessoas têm duas a três vezes mais probabilidade de converter quando vêem um produto no AR do que outros que não o vêem”, aponta McGinnis, citando números do Shopify and Build.com que mostram uma maior probabilidade de comprar (94%) e uma taxa de retorno 22% menor.

Desenvolvedores de aplicativos incluindo o Adobe, o que faz com que o aplicativo AR criativo Aero para o iOS da Apple, pareça ver o AR baseado no telefone da mesma forma. “Os fones de ouvido estão em nosso roteiro, nenhum deles atingiu a massa crítica que faz sentido para nós implantarmos”, diz o diretor de RA da Adobe, Stefano Corrazza, sobre o porquê da empresa não ter explorado ferramentas criativas de fones de ouvido além de adquirir o Medium da Oculus: “Até termos uma Apple ou Google colocando algo em larga escala, não faz muito sentido para nós empurrá-lo para fora”.

Entretanto, smartphones como o novo iPhone 12 Pro de $999 podem ser as principais ferramentas criativas, construindo até fones de ouvido no final da estrada. “Mesmo com um fone de ouvido, o telefone será onde todo o cálculo acontece”, diz Corrazza. “E você pode transmitir para os óculos, potencialmente”

Esse é o mesmo modelo que a Qualcomm já está desenvolvendo para futuros dispositivos AR/VR, também, mas pode levar anos. Enquanto isso, há telefones. “Vai ser o dispositivo principal durante algum tempo para consumir”, diz Corrazza sobre o iPhone 12 Pro, “mas também para digitalização e conteúdo 3D, é uma máquina muito poderosa”. O Adobe ainda não utiliza ferramentas de digitalização 3D no Aero, mas pode estar a explorar formas de incorporar esses recursos no futuro.

Lidar como um passo em direcção ao AR como uma ferramenta criativa

Os primeiros passos do AR, juntamente com o iPhone 8, apenas reconheceu andares utilizando os sensores de movimento do telefone, giroscópios e câmara integrada. Depois reconheceu as paredes e as pessoas. iPhones e iPads habilitados para Lidar, que pulverizam invisivelmente uma série de lasers infravermelhos a partir de um pequeno círculo preto perto das câmeras traseiras, vão um passo significativo mais além, mapeando rapidamente (mapeando em 3D) as dimensões completas de uma sala. Isso também inclui objetos e pessoas em 3D no espaço. É uma evolução do tipo de tecnologia que o Google explorou anos atrás com uma linha de telefones Tango com sensor de profundidade, mas em uma escala mais avançada e difundida. Muitos dos primeiros aplicativos habilitados para lidar como Polycam, 3D Scanner e Record 3D são muito criativos e focados em captura 3D, uma grande mudança dos aplicativos AR de dinossauro-conjuradores, jogando em 2017.

“Essa é parte da razão pela qual nós colocamos este scanner no dispositivo. Sentimos que era uma tecnologia chave que poderia abrir uma explosão de ativos 3D que podem ser usados para todos os tipos de coisas”, diz Rockwell. “Ele também abre a possibilidade de poder começar a digitalizar ambientes de uma maneira, e ser capaz de facilitar a criação de objetos 3D.”

Um dos maiores repositórios de objetos 3D na internet, o Sketchfab, já está vendo um uptick apesar de anos de explorações anteriores na digitalização 3D antes disso. O Sketchfab atingiu apenas 4 milhões de assinantes e teve seu primeiro mês lucrativo desde que o serviço começou em 2012.

Mas, como diz o CEO do Sketchfab, Alban Denoyel, ele já passou por momentos anteriores em que esperava um boom em objetos 3D. Quando os fones de ouvido VR estrearam em 2016, juntamente com alguns telefones de tango de varredura 3D do Google, houve muita propaganda. Mas a adoção do mercado não aconteceu, levando ao que Denoyel chama de “inverno VR”. Pode finalmente estar pegando agora.

Snapchat já está explorando usando lidar para efeitos AR que podem colocar coisas virtuais no mundo real, e até tem experimentos em maior escala escaneando blocos inteiros de cidades. “Nós olhamos a profundidade como muito fundacional”, diz o vice-presidente da plataforma de câmera do Snapchat, Eitan Pilipski.

Even com estas possibilidades, porém, acho que aprender a usar estas novas ferramentas pode ser assustador. A ferramenta de criação de RA da própria Apple, Reality Composer, e o kit de ferramentas criativas de RA 3D da Adobe, Aero, não são necessariamente aplicativos que você vai baixar imediatamente, e eu ainda acho que eles são aplicativos que eu evito. Os aplicativos de digitalização em 3D que tentei até agora são fascinantes, mas também experimentais, e nem sempre intuitivos. A Apple colocou o mundo dos aplicativos de digitalização 3D nas mãos dos desenvolvedores, enquanto as ferramentas iOS do cotidiano da Apple não incorporam muito esses recursos.

O suporte a objetos 3D em todo o iOS da Apple sugere uma maneira de que as coisas em 3D possam eventualmente ser compartilhadas como PDFs ou fotos. Mas de certa forma, as ferramentas criativas para esse futuro ainda não existem completamente.

As possibilidades para fotografia também poderiam ser incríveis, e o aplicativo Camera da própria Apple usa o lidar do iPhone 12 Pro para melhorar o foco para fotos e retratos noturnos. Mas a Apple ainda não incorpora AR na sua aplicação de câmara ou não permite qualquer digitalização 3D. Essas ideias são deixadas aos programadores para explorar. Algumas aplicações, como a câmara DSLR, já utilizam o assistente de navegação do iPhone para criar camadas personalizadas de informação 3D sobre dados fotográficos, colocando texto em 3D nas fotografias.

“O aplicativo é capaz de calcular a segmentação entre a pessoa e o objeto de fundo”, diz Fulvio Scichilone, o criador da câmera DSLR. “O plano futuro para o retrato de RA … é mover, com o giroscópio ou com o dedo, a moldura da foto”

>

Realidade aumentada como sentidos estendidos, e uma ferramenta de acessibilidade

A apple vê a aplicação assassina de AR sendo a capacidade de descoberta, mas há outra grande oportunidade chegando para a acessibilidade. O RA pode literalmente estender os sentidos. No domínio do áudio, a Apple já usa AirPods como aparelhos auditivos, e o Facebook também está explorando o áudio espacial para a audição assistida.

O mesmo poderia vir para ajudar a visão. Futuros produtos de visão-assistivos como as prometidas lentes de contato aumentadas da Mojo Lens têm o objetivo de serem ferramentas úteis para os deficientes visuais. A Apple poderia estar a seguir um caminho semelhante com a forma como a RA no iPhone, e os futuros dispositivos, funcionam como ferramentas de assistência. Já uma nova funcionalidade de detecção de pessoas no iOS 14.2 utiliza o RA e o lidar da Apple para reconhecer distâncias de pessoas, e utiliza isso para assistência visual em novos iPhones.

Isso pode ser apenas o começo. “Há muito mais que podemos fazer, especialmente relacionado ao nosso entendimento do ambiente que nos rodeia”, diz Rockwell. “Podemos reconhecer as pessoas, mas se você pensar no que um ser humano pode entender sobre um ambiente, não há razão para que, na plenitude do tempo, um dispositivo não possa ter esse nível de compreensão também, e fornecer isso aos desenvolvedores”.”

“Vamos trabalhar em conjunto com as comunidades cegas e amblíopes para melhorar especificamente no lado da detecção de pessoas”, acrescenta McGinnis.

A futura aplicação assassina do RA: Sendo instantâneo

Pesar de cobrir AR o tempo todo, admito que esqueço de procurar novas aplicações de AR quando uso um iPhone ou iPad na minha vida diária. Descobrir o que há de novo no mundo virtual enquanto estou ocupado com o real não é um processo contínuo.

Rockwell vê o futuro do iPhone AR não como aplicações, mas como momentos de relance rápido. “Algo que você está mergulhando dentro e fora de três, quatro, cinco, seis vezes por dia para fazer várias coisas, e são experiências leves”, ele explica. “O aplicativo assassino é realmente que ele vai ser usado de uma forma regular o tempo todo, de uma forma que ajuda você a fazer as coisas que você faz hoje, que as torna mais fáceis e rápidas”

O caminho para isso envolve App Clips, a nova forma da Apple de ter pequenos microapps no iOS 14 que surgem em um iPhone sem precisar baixar nada. Os App Clips podem ser acionados por tags NFC ou códigos escaneáveis colocados no mundo real. Eu poderia escanear ou tocar, e de repente trazer à tona AR relacionado ao lugar em que estou, como um menu virtual ou uma exposição de museu trazida à vida.

Também envolve os esforços de mapeamento da Apple. As novas Âncoras de Localização da Apple significam que objetos de RA virtuais podem existir em locais da vida real — imagine ver uma peça de arte virtual em Times Square — compartilhada por várias pessoas ao mesmo tempo.

“Se estiver em uma das áreas que temos mapeamento em alta resolução, que é bastante nos EUA … se estiver dentro de um metro, você pode colocar uma experiência”, diz Rockwell sobre Location Anchors, prometendo um nível de precisão melhor do que o GPS de localização específica. Enquanto isso, App Clips, que são acionados por determinados códigos QR ou âncoras no mundo real, “podem ser reduzidos a centímetros de precisão”

Alguns destes ainda são um trabalho em andamento para os esforços de RA da Apple: Num ano de isolamento induzido pela pandemia, pode ser menos provável que as pessoas tenham estado em locais públicos ou em lojas ou museus onde este tipo de tecnologia de RA baseada em localização possa emergir. Mas a Apple as vê como cruciais para as pessoas que usam RA no dia-a-dia.

“Sabíamos que tínhamos que resolver esses problemas para que a RA se tornasse uma experiência comum — acho que estamos realmente no limite disso para que as pessoas tenham RA se tornado algo que faz mais parte de sua vida diária”, diz Rockwell.

“Minha percepção é que App Clips e Âncoras farão uma enorme diferença”, diz o CEO da Acute Art, Jacob De Geer. Acute Art é um aplicativo que já hospeda exposições de AR em locais do mundo real, mas um dos desafios atuais para as pessoas encontrarem essa arte é saber que ela está lá. “A questão principal, não apenas no RA, mas tudo em tecnologia agora é, ‘Ei, como você consegue que as pessoas baixem seu aplicativo?'”

Um outro desafio para o RA é — na verdade, não é uma coisa qualquer. É arte 3D? É uma série de ferramentas para escanear o mundo espacialmente e sentir tudo melhor? Dessa forma, talvez o RA seja invisível. Talvez seja uma filosofia similar a como o Google vê o RA como uma ferramenta de digitalização do mundo.

“Muitas vezes ouvimos dizer que as pessoas estão usando RA e não sabem o que são”, diz McGinnis, referindo-se a ferramentas populares do iPhone como os óculos instantâneos de Warby Parker habilitados para RA. “À medida que se vai tornando cada vez mais popular, não importa se sabe ou não se é RA. É importante que tenha uma experiência fantástica no seu dispositivo”

O futuro trabalho de base está a ser preparado agora

Combine a digitalização 3D baseada em lidar da Apple, as ferramentas de RA da Apple cada vez mais capazes para efeitos visuais realistas, mais a introdução do AirPod Pro do áudio espacial, que pode fazer com que as coisas que está a ouvir soem como se estivessem a mover-se no espaço 3D, e não é difícil imaginar um futuro auricular de RA da Apple.

Apple não comentará isso. Mas, enquanto isso, a empresa está trabalhando para encorajar uma onda de desenvolvedores a fazer aplicativos prontos para o AR. E, quer um headset chegue ou não em breve, iPhones e iPads mais conscientes espacialmente irão transformar os telefones em dispositivos de digitalização mundial com suas próprias possibilidades. Ou talvez até mesmo para robótica, ou como câmeras habilitadas para visão de computador em lugares inesperados.

“Estas coisas são, mais ou menos no início, uma coisa delicada, e você tem que ter todos os elementos lá, todos estes ingredientes, para que eles tenham sucesso”, diz Rockwell.

“Daqui a alguns anos, será uma daquelas coisas em que não se consegue lembrar de viver sem isso, tal como a internet”, acrescenta ele. “Você vai se sentir como, uau, eu estou usando isso regularmente … vai se tornar apenas integrado em nossas vidas”

Publicado pela primeira vez em 20 de novembro de 2020 às 4:00 da manhã PT.