Într-un viitor nu prea îndepărtat, Apple va prezenta, se pare, o cască de realitate augmentată sau mixtă. Apple nu a discutat încă despre nicio cască. Dar realitatea augmentată este vie și sănătoasă pe iPhone – și este din ce în ce mai bună. Senzorul lidar de detectare a adâncimii de la Apple (disponibil pe iPhone 12 Pro și pe cele mai recente iPad-uri), cu posibilitățile sale avansate de scanare 3D, pare a fi coloana vertebrală a căștilor Apple din viitor în multe privințe.
Apple și-a început călătoria AR în 2017, făcând senzație cu mobilierul virtual Ikea și cu luptele Pokemon Go în aer liber cu aspect realist. Anul acesta, am stat la colțuri de stradă scanând hidranții de incendiu cu noul iPhone 12 Pro de la Apple. Am cartografiat interiorul casei mele. Am navigat pe râuri de lavă pe podelele mele.
Facebook, Microsoft și Magic Leap explorează deja ochelarii și ochelarii care urmăresc să îmbine virtualul și realul, iar în viitor vor apărea mai multe căști care vor folosi cipuri Qualcomm. Dar misiunea Apple AR în acest moment, potrivit lui Mike Rockwell, șeful Apple pentru AR, și Allessandra McGinnis, managerul său senior de produs pentru AR, este de a face ca totul să funcționeze mai bine pe dispozitivul pe care îl aveți deja în buzunar. Stratificarea AR cu locații din lumea reală și apariția automată a experiențelor, în timp ce se creează instrumente creative și se dezvoltă tehnologii de asistență bazate pe capacitățile AR, ar putea deveni, pe termen lung, cele mai mari aplicații ucigașe.
„AR are un potențial enorm de a fi util oamenilor în viața lor pe dispozitivele care există astăzi și pe dispozitivele care ar putea exista mâine, dar trebuie să ne asigurăm că are succes”, spune Rockwell. „Pentru noi, cel mai bun mod de a face acest lucru este să activăm ecosistemul nostru de dispozitive, astfel încât acesta să fie un loc sănătos și profitabil pentru ca oamenii să-și investească timpul și efortul.”
Rockwell și McGinnis au vorbit cu mine și despre ce este diferit acum față de acum trei ani și de ce telefoanele contează atât de mult pentru ceea ce va urma.
Aplicația AR ucigașă a Apple: Telefonul pe care îl aveți deja
Căștile de realitate virtuală precum Oculus Quest 2, deși se îmbunătățesc continuu din punct de vedere calitativ, nu sunt încă folosite de mulți oameni în comparație cu telefoanele. „Nimeni nu vorbește cu adevărat despre cifre” de căști VR vândute, cu excepția Sony, care a vândut până acum 5 milioane de căști PlayStation VR, spune Anshel Sag, analist principal de cipuri de consum, de la Moor Insights, deși „există o mare probabilitate ca aceasta să ajungă la 5-6 milioane de căști vândute în primul an”. Dar chiar și atunci, aceste căști VR folosesc aplicații care, de obicei, se simt îndepărtate de telefoanele și computerele pe care le folosim zilnic. Căștile AR nu există încă în număr semnificativ, chiar și la ani după ce Magic Leap și HoloLens de la Microsoft au promis un viitor iminent al realității mixte.
„A fost un drum destul de greu pentru dezvoltatorii care sunt doar VR sau care încearcă să facă experiențe doar AR”, notează Rockwell. „Pur și simplu nu sunt atât de multe acolo”. Între timp, numărul pur și simplu de iPhone-uri și iPad-uri compatibile cu AR de la Apple, datând din 2017, se ridică la sute de milioane. „Chiar dacă apelezi doar la un procent relativ mic, este totuși un număr gigantic.”
Apple spune că există deja 10.000 de aplicații iOS cu AR de la 7.000 de dezvoltatori, multe dintre acestea fiind axate pe cumpărături sau pe îmbunătățirea locuinței ca modalitate de a folosi practic AR acasă. Practicitatea este exact ceea ce Apple pare să urmărească cel mai mult în acest moment. „Am vrut să oferim o platformă și un ecosistem pentru dezvoltatori prin care aceștia să își poată câștiga existența”, spune Rockwell.
În timp ce pandemia COVID-19 a închis afacerile fizice și a încetinit călătoriile pentru majoritatea oamenilor, cumpărăturile la domiciliu cu ajutorul instrumentelor de AR reprezintă o parte importantă a atenției Apple în acest moment. În același mod în care Google și Microsoft urmăresc modalități de a vedea lucruri pe care ați putea dori să le cumpărați în 3D pe telefonul dvs. acasă, folosind instrumente AR bazate pe telefon, cârligele Apple la browserul său Safari care permit cumpărături AR pop-up par a fi înlocuitoare pentru a merge în magazine.
Video: Analiza noastră aprofundată a iPhone 12 și 12 Pro
„Home Depot a descoperit că oamenii au de două până la trei ori mai multe șanse de a converti atunci când văd un produs în AR decât alții care nu o fac”, subliniază McGinnis, citând cifre de la Shopify și Build.com care arată o probabilitate mai mare de a cumpăra (94%) și o rată de returnare cu 22% mai mică.
Dezvoltatorii de aplicații, inclusiv Adobe, care produce aplicația de creație AR Aero pentru iOS de la Apple, par să vadă AR pe telefon în același mod. „Căștile sunt pe foaia noastră de parcurs, Niciuna dintre ele nu a atins masa critică care să aibă sens pentru noi să le implementăm”, spune Stefano Corrazza, șeful departamentului de AR de la Adobe, cu privire la motivul pentru care compania nu a explorat instrumentele de creație pentru căști, dincolo de achiziționarea Medium de la Oculus: „Până când nu avem un Apple sau un Google care să lanseze ceva la scară largă, nu are prea mult sens pentru noi să le lansăm”.
Între timp, smartphone-urile, cum ar fi noul iPhone 12 Pro de 999 de dolari, pot fi instrumente creative primare, construindu-se până la căști pe parcurs. „Chiar și cu o cască, telefonul va fi locul în care se va întâmpla tot calculul”, spune Corrazza. „Și puteți face streaming către ochelari, potențial.”
Este același model pe care Qualcomm îl construiește deja și pentru viitoarele dispozitive AR/VR, dar ar putea dura ani de zile. Între timp, există telefoane. „Va fi dispozitivul principal pentru o vreme pentru consum”, spune Corrazza despre iPhone 12 Pro, „dar și pentru scanare și conținut 3D, este o mașină foarte puternică.” Adobe nu folosește încă instrumente de scanare 3D pe Aero, dar este posibil să exploreze modalități de a încorpora aceste caracteristici pe parcurs.
La mulți ani Olivia by alban on Sketchfab Lidar ca un pas spre AR ca instrument de creație
Primii pași ai Apple în AR, alături de iPhone 8, au recunoscut doar podelele folosind senzorii de mișcare, giroscoapele și camera încorporată a telefonului. Apoi a recunoscut pereții și oamenii. iPhone-urile și iPad-urile dotate cu Lidar, care pulverizează în mod invizibil o serie de lasere cu infraroșu dintr-un mic cerc negru aflat în apropierea camerelor din spate, fac un pas semnificativ mai departe, realizând rapid un meshing (cartografierea în 3D) al tuturor dimensiunilor unei încăperi. Aceasta include, de asemenea, obiectele 3D și persoanele din spațiu. Este o evoluție a tipului de tehnologie pe care Google a explorat-o cu ani în urmă cu o linie de telefoane Tango cu senzor de adâncime, dar la o scară mai avansată și mai extinsă. Multe dintre primele aplicații compatibile cu lidar, cum ar fi Polycam, 3D Scanner și Record 3D, sunt foarte creative și axate pe captură 3D, o mare schimbare față de aplicațiile AR care închipuiau dinozauri și se jucau cu jocuri în 2017.
„Acesta este o parte din motivul pentru care am pus acest scaner pe dispozitiv. Am simțit că este o tehnologie cheie care ar putea deschide o explozie de active 3D care pot fi folosite pentru tot felul de lucruri”, spune Rockwell. „De asemenea, deschide posibilitatea de a putea începe să scanăm într-un fel mediile și de a putea facilita crearea de obiecte 3D.”
Brooklyn bathrooms Mural by alban on Sketchfab Unul dintre cele mai mari depozite de obiecte 3D de pe internet, Sketchfab, înregistrează deja o creștere, în ciuda anilor de explorări anterioare în domeniul scanării 3D înainte de aceasta. Sketchfab tocmai a ajuns la 4 milioane de abonați și a avut prima lună profitabilă de când serviciul a început în 2012.
Dar, după cum spune Alban Denoyel, directorul executiv al Sketchfab, a trecut prin perioade anterioare în care se aștepta la un boom al obiectelor 3D. Când căștile VR au debutat în 2016, împreună cu câteva telefoane Tango cu scanare 3D de la Google, a existat multă agitație. Adoptarea pe piață nu a avut loc, însă, ceea ce a dus la ceea ce Denoyel numește o „iarnă VR”. S-ar putea ca în sfârșit să se relanseze acum.
Snapchat explorează deja utilizarea lidar pentru efecte AR care pot plasa lucruri virtuale în lumea reală, și chiar are experimente la scară mai mare care scanează blocuri întregi de orașe. „Privim adâncimea ca fiind foarte fundamentală”, spune Eitan Pilipski, vicepreședintele Snapchat pentru platforma camerei foto.
Chiar și cu aceste posibilități, totuși, consider că a învăța să folosești aceste noi instrumente poate fi descurajant. Propriul instrument de creație AR de la Apple, Reality Composer, și setul de instrumente de creație AR 3D de la Adobe, Aero, nu sunt neapărat aplicații pe care să le descărcați imediat, iar pentru mine încă sunt aplicații pe care le evit. Aplicațiile de scanare 3D pe care le-am încercat până acum sunt fascinante, dar și experimentale și nu întotdeauna intuitive. Apple a pus în mare măsură lumea aplicațiilor de scanare 3D în mâinile dezvoltatorilor, în timp ce instrumentele de bază de zi cu zi ale Apple pentru iOS nu prea încorporează aceste caracteristici.
Suportarea la nivel de iOS a obiectelor 3D de către Apple sugerează o modalitate prin care lucrurile 3D ar putea fi partajate în cele din urmă ca PDF-urile sau fotografiile. Dar, într-un fel, instrumentele creative pentru acest viitor nu există încă pe deplin.
Posibilitățile pentru fotografie ar putea fi, de asemenea, uimitoare, iar aplicația Camera de la Apple folosește lidar-ul de pe iPhone 12 Pro pentru a îmbunătăți focalizarea pentru fotografii de noapte și portrete. Dar Apple nu încorporează AR în aplicația sa de cameră și nici nu permite încă scanarea 3D. Aceste idei sunt lăsate dezvoltatorilor să le exploreze. Unele aplicații, cum ar fi DSLR Camera, utilizează deja lidar-ul iPhone-ului pentru a crea straturi personalizate de informații 3D peste datele foto, suprapunând text în 3D în fotografii.
„Aplicația este capabilă să calculeze segmentarea între persoană și obiectul din fundal”, spune Fulvio Scichilone, creatorul DSLR Camera. „Planul viitor pentru portretul AR… este de a mișca, cu ajutorul giroscopului sau al degetului, cadrul fotografiei.”
People Detection recunoaște persoanele și măsoară distanța, folosind tehnologia AR.
Scott Stein/CNET
Realitatea augmentată ca simțuri extinse și ca instrument de accesibilitate
Apple consideră că aplicația ucigașă a realității augmentate este descoperirea, dar există o altă oportunitate uriașă care sosește pentru accesibilitate. AR poate extinde literalmente simțurile cuiva. În domeniul audio, Apple folosește deja căștile AirPods ca aparate auditive, iar Facebook explorează audio spațial și pentru asistența auditivă.
Același lucru ar putea veni și pentru asistența vizuală. Viitoarele produse de asistare a vederii, cum ar fi lentilele de contact augmentate promise de Mojo Lens, își propun să fie instrumente utile pentru persoanele cu deficiențe de vedere. Apple ar putea urma o cale similară cu modul în care AR de pe iPhone și de pe viitoarele dispozitive funcționează ca instrumente de asistare. Deja, o nouă funcție de detectare a persoanelor din iOS 14.2 utilizează AR și lidar de la Apple pentru a recunoaște distanțele față de persoane și folosește acest lucru pentru asistență vizuală pe noile iPhone-uri.
Acesta ar putea fi doar începutul. „Putem face mult mai multe, în special în legătură cu înțelegerea mediului care ne înconjoară”, spune Rockwell. „Putem recunoaște oamenii, dar dacă vă gândiți la ceea ce poate înțelege o ființă umană despre un mediu, nu există niciun motiv pentru care, în timp, un dispozitiv să nu poată avea și el acest nivel de înțelegere și să ofere acest lucru dezvoltatorilor.”
„Vom lucra împreună cu comunitățile de nevăzători și de persoane cu deficiențe de vedere pentru a îmbunătăți în mod specific partea de detectare a persoanelor”, adaugă McGinnis.
O expoziție de artă AR bazată pe locație, realizată de Alicja Kwade în Acute Art.
Alicja Kwade/Acute Art
Viitorul killer app al AR: Being instant
Chiar dacă mă ocup tot timpul de AR, recunosc că uit să caut noi aplicații AR atunci când folosesc un iPhone sau un iPad în viața de zi cu zi. Descoperirea noutăților din lumea virtuală în timp ce sunt ocupat în cea reală nu este un proces fără cusur.
Rockwell vede viitorul AR pentru iPhone nu ca aplicații, ci ca momente de privire rapidă. „Ceva în care intri și ieși de trei, patru, cinci, cinci, șase ori pe zi pentru a face diverse lucruri, iar acestea sunt experiențe ușoare”, explică el. „Aplicația ucigașă este într-adevăr faptul că va fi folosită într-un fel de regularitate tot timpul în aceste mici moduri care te ajută să faci lucrurile pe care le faci astăzi, care le fac mai ușoare și mai rapide.”
Calea spre asta implică App Clips, noul mod al Apple de a avea mici microaplicații în iOS 14 care apar pe un iPhone fără a fi nevoie să descarci nimic. App Clips pot fi declanșate de etichete NFC sau de coduri scanabile plasate în lumea reală. Aș putea să scanez sau să ating și, dintr-o dată, să apară AR legate de locul în care mă aflu, cum ar fi un meniu virtual sau o expoziție de muzeu adusă la viață.
Este vorba, de asemenea, de eforturile de cartografiere ale Apple. Noile Ancore de localizare ale Apple înseamnă că obiectele virtuale AR pot exista în locații din viața reală – imaginați-vă că vedeți o operă de artă virtuală în Times Square – împărtășite de mai multe persoane în același timp.
„Dacă se află într-una dintre zonele în care avem o cartografiere de înaltă rezoluție, ceea ce este destul de mult în SUA … dacă se află la mai puțin de un metru, puteți plasa o experiență”, spune Rockwell despre Ancorele de localizare, promițând un nivel de precizie mai bun decât cel al GPS în ceea ce privește locația specifică. Între timp, App Clips, care sunt declanșate de anumite coduri QR sau ancore în lumea reală, „pot avea o precizie de până la câțiva centimetri.”
Ambele sunt încă în lucru pentru eforturile de AR ale Apple: Într-un an de izolare indusă de pandemii, ar putea fi mai puțin probabil ca oamenii să fi fost în locuri publice sau în magazine sau muzee în care ar putea apărea acest tip de tehnologie AR bazată pe localizare. Dar Apple le consideră cruciale pentru persoanele care utilizează AR în fiecare zi.
„Am știut că trebuie să rezolvăm aceste probleme pentru ca AR să devină o experiență de masă – cred că suntem chiar pe punctul de a le permite oamenilor ca AR să devină ceva care să facă mai mult parte din viața lor de zi cu zi”, spune Rockwell.
„Percepția mea este că App Clips și Anchors vor face o diferență masivă”, spune Jacob De Geer, CEO-ul Acute Art. Acute Art este o aplicație care găzduiește deja expoziții AR în locații din lumea reală, dar una dintre provocările actuale pentru ca oamenii să găsească această artă este să știe că este acolo. „Principala problemă, nu doar în AR, ci în tot ceea ce ține de tehnologie acum este: „Hei, cum îi faci pe oameni să îți descarce aplicația?””
O altă provocare pentru AR este – într-adevăr, nu este vorba de un singur lucru. Este vorba de artă 3D? Este o serie de instrumente pentru a scana spațial lumea și a simți totul mai bine? În acest fel, poate că AR este invizibilă. Poate că este o filozofie similară cu modul în care Google vede AR ca pe un instrument de scanare a lumii.
„Adesea auzim că oamenii folosesc AR și nu știu ce sunt”, spune McGinnis, referindu-se la instrumentele populare de pe iPhone, cum ar fi proba instantanee a ochelarilor cu AR de la Warby Parker. „Pe măsură ce devine din ce în ce mai răspândită, nu mai contează dacă știi că este AR sau nu. Contează că ai o experiență uimitoare în dispozitivul tău.”
Acum se pun bazele viitorului
Combinați scanarea 3D bazată pe lidar a Apple, instrumentele AR din ce în ce mai capabile ale Apple pentru imagini realiste, plus introducerea de către AirPod Pro a sunetului spațial, care poate face ca lucrurile pe care le ascultați să sune ca și cum s-ar mișca în spațiul 3D, și nu este greu să vă imaginați un viitor set de căști AR Apple.
Apple nu vrea să comenteze pe această temă. Între timp, însă, compania se străduiește să încurajeze un val de dezvoltatori să creeze aplicații pregătite pentru AR. Indiferent dacă o cască va apărea sau nu în curând, iPhone-urile și iPad-urile cu o mai mare conștientizare spațială vor transforma telefoanele în dispozitive de scanare a lumii cu propriile posibilități. Sau poate chiar pentru robotică, sau ca camere de luat vederi cu ajutorul computerului în locuri neașteptate.
„Aceste lucruri sunt, oarecum la început, un lucru delicat și trebuie să aveți toate elementele acolo, toate aceste ingrediente, pentru ca ele să aibă succes”, spune Rockwell.
„Peste câțiva ani, va fi unul dintre acele lucruri pentru care nu-ți vei putea aminti cum ar fi trăit fără el, la fel ca internetul”, adaugă el. „Te vei simți ca și cum, wow, folosesc asta în mod regulat… va deveni pur și simplu integrat în viețile noastre.”
Prima dată publicat pe 20 noiembrie 2020 la ora 4:00 a.m. PT.