A nem túl távoli jövőben az Apple állítólag egy kiterjesztett vagy kevert valóságot használó headsetet fog bemutatni. Az Apple egyelőre nem beszélt semmilyen fejfedőről. De a kiterjesztett valóság él és virul az iPhone-on — és ez csak egyre jobb lesz. Az Apple mélységérzékelő lidar-érzékelője (amely az iPhone 12 Pro-ban és a legújabb iPadekben is elérhető) a fejlett 3D-szkennelési lehetőségeivel sok szempontból a jövő Apple-headsetjeinek gerincének tűnik.

Az Apple 2017-ben kezdte meg AR-útját, és virtuális Ikea-bútorokkal és valósághűnek tűnő kültéri Pokemon Go csatákkal tette tiszteletét. Idén az utcasarkokon állva tűzcsapokat pásztáztam az Apple új iPhone 12 Pro készülékével. Feltérképeztem a házam belsejét. Navigáltam a lávafolyamokon a padlómon.

A Facebook, a Microsoft és a Magic Leap már most olyan szemüvegeket és szemüvegeket vizsgál, amelyek célja a virtuális és a valóságos keveredése, és a jövőben még több, Qualcomm chipeket használó headset érkezik. De az Apple AR küldetése jelenleg Mike Rockwell, az Apple AR-ért felelős vezetője és Allessandra McGinnis, az AR-ért felelős vezető termékmenedzser szerint az, hogy minden jobban működjön azon az eszközön, ami már a zsebünkben van. Az AR valós helyszínekkel való rétegzése és az élmények automatikus felbukkanása, miközben az AR képességeire épülő kreatív eszközök és segítő technológiák fejlesztése hosszú távon a legnagyobb gyilkos alkalmazások lehetnek.

“Az AR óriási potenciállal rendelkezik, hogy hasznos legyen az emberek életében a ma létező és a holnap talán már létező eszközökön keresztül, de biztosítanunk kell, hogy sikeres legyen” – mondja Rockwell. “Számunkra a legjobb módja ennek az, hogy lehetővé tegyük az eszközökoszisztémánkat, hogy egészséges és jövedelmező hely legyen az emberek számára, hogy időt és energiát fektessenek bele.”

Rockwell és McGinnis arról is beszélt velem, mi a különbség most a három évvel ezelőttihez képest, és miért számítanak a telefonok annyira a következő lépések szempontjából.

Apple’s killer AR app: The phone you already have

A virtuális valóság headseteket, mint az Oculus Quest 2, bár folyamatosan javul a minőségük, még mindig nem sokan használják a telefonokhoz képest. “Senki sem beszél igazán számokról” az eladott VR-headsetek számát illetően, kivéve a Sony-t, amely eddig 5 millió PlayStation VR-headsetet adott el, mondja Anshel Sag, a Moor Insights vezető fogyasztói chipelemzője, bár “nagy a valószínűsége, hogy ez az első évben elérheti az 5-6 millió eladott headsetet”. De még akkor is, ezek a VR-headsetek olyan alkalmazásokat használnak, amelyek általában távolinak érződnek a mindennap használt telefonoktól és számítógépektől. Az AR-headsetek még mindig nem léteznek jelentős számban, még évekkel azután sem, hogy a Magic Leap és a Microsoft HoloLens a kevert valóság közelgő jövőjét ígérte.

“Elég nehéz út állt a csak VR-t használó vagy csak AR-élményeket készíteni próbáló fejlesztők előtt” – jegyzi meg Rockwell. “Egyszerűen nincsenek olyan sokan odakint”. Eközben az Apple puszta száma az AR-képes iPhone-ok és iPadek 2017-ig visszamenőleg több százmillióra rúg. “Még ha csak egy viszonylag kis százalékot szólítasz meg, ez akkor is gigantikus szám.”

Az Apple szerint már 10 000 AR-képes iOS-alkalmazás létezik 7 000 fejlesztőtől, amelyek közül sokan a vásárlásra vagy az otthoni barkácsolásra összpontosítanak, mint az AR otthoni gyakorlati használatának módjára. A praktikusság pontosan az, amire az Apple jelenleg a leginkább törekszik. “Olyan platformot és ökoszisztémát akartunk biztosítani a fejlesztőknek, ahol meg tudnak élni belőle” – mondja Rockwell.”

Míg a COVID-19 járvány miatt a fizikai üzletek leálltak és a legtöbb ember számára lelassult az utazás, az AR-eszközökkel történő otthoni vásárlás jelenleg az Apple fókuszában áll. Hasonlóan ahhoz, ahogyan a Google és a Microsoft is arra törekszik, hogy telefonos AR-eszközökkel 3D-ben lássa otthon a telefonján a megvásárolni kívánt dolgokat, az Apple Safari böngészőjébe való, a felugró AR-vásárlást lehetővé tevő hook-inek a boltokba járás helyettesítőinek tűnnek.

“A Home Depot megállapította, hogy az emberek két-háromszor nagyobb valószínűséggel konvertálnak, ha AR-ben néznek meg egy terméket, mint mások, akik nem” – mutat rá McGinnis a Shopify és a Build számaira hivatkozva.com adataira hivatkozik, amelyek szerint nagyobb a valószínűsége a vásárlásnak (94%) és 22%-kal alacsonyabb a visszaküldések aránya.

Az alkalmazásfejlesztők, köztük az Adobe, amely az Aero AR kreatív alkalmazást készíti az Apple iOS rendszeréhez, úgy tűnik, ugyanígy látják a telefonalapú AR-t. “A headsetek szerepelnek az útitervünkben, Egyik sem érte el azt a kritikus tömeget, amit érdemes lenne bevezetnünk” – mondja az Adobe AR-ért felelős vezetője, Stefano Corrazza arra vonatkozóan, hogy a vállalat miért nem vizsgálta a headset kreatív eszközeit azon túl, hogy megvásárolta az Oculustól a Mediumot: “Amíg az Apple vagy a Google nem tesz ki valamit széles körben, addig nincs sok értelme annak, hogy ki tudjuk tolni”.

Addig is az olyan okostelefonok, mint az új, 999 dolláros iPhone 12 Pro, elsődleges kreatív eszközök lehetnek, és az út során fejhallgatókra építhetnek. “Még egy fejhallgatóval együtt is a telefon lesz az, ahol az összes számítás történik” – mondja Corrazza. “És potenciálisan a szemüvegre is lehet streamelni.”

Ez ugyanaz a modell, amelyre a Qualcomm már most is épít a jövőbeli AR/VR-eszközök esetében, de ez még évekig eltarthat. Addig is vannak telefonok. “Egy ideig ez lesz az elsődleges eszköz a fogyasztáshoz” – mondja Corrazza az iPhone 12 Pro-ról, “de a szkenneléshez és a 3D-s tartalmakhoz is, ez egy nagyon erős gép”. Az Adobe egyelőre nem használ 3D szkennelési eszközöket az Aero-n, de lehet, hogy a későbbiekben megvizsgálja, hogyan lehet beépíteni ezeket a funkciókat.

A Lidar mint lépés az AR mint kreatív eszköz felé

Az Apple első lépései az AR terén, az iPhone 8 mellett, éppen a telefon mozgásérzékelői, giroszkópjai és beépített kamerája segítségével felismert padlót. Aztán felismerte a falakat és az embereket. A Lidar-képes iPhone-ok és iPadek, amelyek a hátsó kamerák melletti kis fekete körből láthatatlanul infravörös lézereket szórnak ki, egy jelentős lépéssel tovább mennek: gyorsan hálózzák (3D-ben térképezik fel) a szoba teljes méretét. Ez magában foglalja a térben lévő 3D-s tárgyakat és embereket is. Ez annak a technológiának az evolúciója, amelyet a Google évekkel ezelőtt a mélységérzékelős Tango telefonokkal fedezett fel, de sokkal fejlettebb és szélesebb körben elterjedt. Sok korai lidar-képes alkalmazás, például a Polycam, a 3D Scanner és a Record 3D nagyon kreatív és 3D rögzítésre összpontosít, ami nagy váltás a dinoszauruszokat idéző, játékokat játszó AR-alkalmazásokhoz képest 2017-ben.

“Részben ez az oka annak, hogy miért tettük ezt a szkennert a készülékre. Úgy éreztük, hogy ez egy olyan kulcsfontosságú technológia, amely robbanásszerűen megnyitja a 3D-s eszközök tárházát, amelyeket mindenféle dologra fel lehet használni” – mondja Rockwell. “Ez megnyitja annak a lehetőségét is, hogy bizonyos értelemben elkezdhessük a környezetek szkennelését, és könnyebbé tudjuk tenni a 3D objektumok létrehozását.”

A 3D objektumok egyik legnagyobb internetes tárháza, a Sketchfab máris fellendülést tapasztal, annak ellenére, hogy ezt megelőzően évekkel korábban már felfedezték a 3D szkennelést. A Sketchfab most érte el a 4 millió előfizetőt, és a szolgáltatás 2012-es indulása óta először volt nyereséges hónapja.

De mint Alban Denoyel, a Sketchfab vezérigazgatója elmondta, ő már átélt olyan korábbi időszakokat, amikor a 3D-s tárgyak boomjára számított. Amikor 2016-ban debütáltak a VR headsetek a Google néhány 3D-s szkennelésű Tango telefonjával együtt, nagy volt a hype. A piaci elfogadás azonban nem történt meg, ami ahhoz vezetett, amit Denoyel “VR-télnek” nevez. Most talán végre fellendül a helyzet.

A Snapchat már vizsgálja a lidar használatát az AR-effektusokhoz, amelyekkel virtuális dolgokat lehet a valós világba helyezni, sőt, nagyobb léptékű kísérletei is vannak egész városrészeket szkennelnek. “A mélységet nagyon alapvetőnek tekintjük” – mondja Eitan Pilipski, a Snapchat kamera platformért felelős alelnöke.

Még ezekkel a lehetőségekkel együtt is úgy találom azonban, hogy az új eszközök használatának megtanulása ijesztő lehet. Az Apple saját AR-alkotó eszköze, a Reality Composer és az Adobe 3D AR kreatív eszközkészlete, az Aero nem feltétlenül olyan alkalmazások, amelyeket azonnal letöltenél, és én még mindig olyan alkalmazásoknak tartom őket, amelyeket kerülök. Az általam eddig kipróbált 3D-s szkennelő alkalmazások lenyűgözőek, de kísérleti jellegűek is, és nem mindig intuitívak. Az Apple nagyrészt a fejlesztők kezébe adta a 3D-szkennelő alkalmazások világát, míg az Apple mindennapi alapvető iOS-eszközei egyáltalán nem tartalmazzák ezeket a funkciókat.

Az Apple iOS egészére kiterjedő támogatása a 3D-objektumoknak valóban azt sugallja, hogy a 3D-s dolgokat végül úgy lehetne megosztani, mint a PDF-eket vagy a fényképeket. De bizonyos szempontból ennek a jövőnek a kreatív eszközei még nem léteznek teljesen.

A fotózás lehetőségei is elképesztőek lehetnek, és az Apple saját Kamera alkalmazása az iPhone 12 Pro lidarját használja az éjszakai fotók és portrék fókuszának javítására. Az Apple azonban egyelőre nem építi be az AR-t a kameraalkalmazásba, és nem teszi lehetővé a 3D-s szkennelést sem. Ezeket az ötleteket a fejlesztőkre bízza. Néhány alkalmazás, például a DSLR Camera már használja az iPhone lidarját, hogy a fotóadatokon felül egyedi 3D-s információs rétegeket hozzon létre, 3D-s szöveget rétegezve a fotókra.

“Az alkalmazás képes kiszámítani a személy és a háttérben lévő tárgy közötti szegmentációt” – mondja Fulvio Scichilone, a DSLR Camera alkotója. “Az AR portréval kapcsolatos jövőbeli terv … az, hogy a giroszkóppal vagy az ujjunkkal mozgathatjuk a kép keretét.”

A kiterjesztett valóság mint kiterjesztett érzékszervek, és mint akadálymentesítési eszköz

Az Apple az AR gyilkos alkalmazását a felfedezhetőségben látja, de egy másik hatalmas lehetőség is érkezik az akadálymentesítéshez. Az AR szó szerint kiterjesztheti az ember érzékszerveit. Az audió területén az Apple már használja az AirPods-t hallókészülékként, és a Facebook is vizsgálja a térbeli audiót a segítő hallás érdekében.

A látás segítésére is ugyanez jöhet. A jövőbeni látást segítő termékek, mint például a Mojo Lens beígért augmentált kontaktlencséi, a látássérültek számára kívánnak hasznos eszközök lenni. Az Apple hasonló utat járhat be azzal, ahogy az iPhone-on és a jövőbeli eszközökön az AR segítő eszközként működik. Az iOS 14.2 új emberfelismerő funkciója már most is az Apple AR-ját és lidarját használja az emberek távolságának felismerésére, és ezt használja az új iPhone-ok látástámogatására.

Ez még csak a kezdet lehet. “Még sok mindent tehetünk, különösen a körülöttünk lévő környezet megértésével kapcsolatban” – mondja Rockwell. “Felismerjük az embereket, de ha belegondolunk abba, hogy egy ember mit képes megérteni a környezetről, nincs okunk arra, hogy idővel egy eszköz ne rendelkezzen ilyen szintű megértéssel is, és ne nyújthassa ezt a fejlesztőknek.”.”

“Együtt fogunk dolgozni a vakok és gyengénlátók közösségével, hogy kifejezetten az emberek felismerését fejlesszük” – teszi hozzá McGinnis.”

AAR jövőbeli gyilkos alkalmazása: Azonnal

Még ha állandóan az AR-ről tudósítok is, bevallom, elfelejtek új AR-alkalmazásokat keresni, amikor iPhone-t vagy iPadet használok a mindennapokban. A virtuális világ újdonságainak felfedezése, miközben a valós világgal vagyok elfoglalva, nem egy zökkenőmentes folyamat.

Rockwell az iPhone AR jövőjét nem az alkalmazásokban, hanem a gyors pillanatokban látja. “Valamit, amibe naponta háromszor, négyszer, ötször, hatszor belemerülsz, hogy különböző dolgokat csinálj, és ezek könnyed élmények” – magyarázza. “A gyilkos alkalmazás valójában az, hogy egyfajta rendszeres alapon, állandóan használjuk majd ezeket az apróságokat, amelyek segítenek abban, hogy elvégezzük azokat a dolgokat, amiket ma csinálunk, és amelyek megkönnyítik és gyorsabbá teszik azokat.”

Az ehhez vezető út az App Clips, az Apple új módja annak, hogy az iOS 14-ben kis mikroalkalmazások jelenjenek meg az iPhone-on anélkül, hogy bármit is le kellene tölteni. Az App Clips a valós világban elhelyezett NFC-címkékkel vagy beolvasható kódokkal indítható. Beolvashatom vagy megérinthetem, és hirtelen megjelenik a helyhez kapcsolódó AR, például egy virtuális menü vagy egy életre keltett múzeumi kiállítás.”

Ez az Apple térképezési törekvéseit is érinti. Az Apple új Location Anchorjai azt jelentik, hogy a virtuális AR-objektumok valós helyszíneken is létezhetnek – képzeljük el, hogy egy virtuális műalkotást látunk a Times Square-en -, amelyet egyszerre több ember is megoszthat.

“Ha olyan területen van, ahol nagy felbontású térképezéssel rendelkezünk, ami elég sok az USA-ban … ha egy méteren belül van, akkor elhelyezhetsz egy élményt” – mondja Rockwell a Location Anchorsról, ami a GPS-nél jobb helyspecifikus pontosságot ígér. Eközben az App Clips, amelyeket bizonyos QR-kódok vagy horgonyok váltanak ki a valós világban, “akár centiméteres pontosságúak is lehetnek.”

Mindkettő egyelőre még folyamatban van az Apple AR erőfeszítéseihez: A világjárvány okozta elszigeteltség évében talán kevésbé valószínű, hogy az emberek olyan nyilvános helyeken, üzletekben vagy múzeumokban jártak, ahol az ilyen típusú helyalapú AR-technológia megjelenhet. Az Apple azonban úgy látja, hogy ezek létfontosságúak az AR-t napi szinten használó emberek számára.

“Tudtuk, hogy meg kell oldanunk ezeket a problémákat ahhoz, hogy az AR mainstream élménnyé váljon – szerintem tényleg eléggé a küszöbön állunk ahhoz, hogy az emberek számára az AR a mindennapi életük részévé váljon” – mondja Rockwell.

“Az én meglátásom szerint az App Clips és az Anchors hatalmas változást fog hozni” – mondja Jacob De Geer, az Acute Art vezérigazgatója. Az Acute Art egy olyan alkalmazás, amely már most is AR-kiállításoknak ad otthont valós helyszíneken, de az egyik jelenlegi kihívás, hogy az emberek megtalálják ezt a művészetet, az, hogy tudják, hogy ott van. “A fő kérdés, nem csak az AR-ben, hanem a technológia minden területén az, hogy “Hé, hogyan veszed rá az embereket, hogy letöltsék az alkalmazásodat?””

Az AR másik kihívása az, hogy valójában nem egy dologról van szó. Ez 3D művészet? Eszközök sorozata a világ térbeli letapogatására és minden jobb érzékelésére? Ilyen értelemben talán az AR láthatatlan. Talán ez egy hasonló filozófia, mint ahogy a Google az AR-t egy világot letapogató eszköznek tekinti.

“Gyakran halljuk, hogy az emberek AR-t használnak, és nem tudják, hogy mi az” – mondja McGinnis, utalva az olyan népszerű iPhone-eszközökre, mint a Warby Parker azonnali AR-képes szemüvegpróbája. “Ahogy ez egyre inkább mainstream lesz, nem számít, hogy tudod-e, hogy ez AR vagy sem. Az számít, hogy elképesztő élményt nyújt az eszközöd.”

A jövő alapjait már most lefektetik

Kombináljuk össze az Apple lidar-alapú 3D szkennelését, az Apple egyre jobb képességű AR eszközeit a valósághű vizuális megjelenítéshez, valamint az AirPod Pro térbeli hang bevezetését, amely képes a hallott dolgokat úgy hangoztatni, mintha azok a 3D térben mozognának, és nem nehéz elképzelni egy jövőbeli Apple AR headsetet.

Az Apple ezt nem kommentálja. De addig is a vállalat azon dolgozik, hogy a fejlesztőket arra ösztönözze, hogy AR-képes alkalmazásokat készítsenek. És akár érkezik headset a közeljövőben, akár nem, a térlátóbb iPhone-ok és iPadek saját lehetőségekkel rendelkező, világot fürkésző eszközökké változtatják majd a telefonokat. Vagy akár robotikai célokra, vagy váratlan helyeken elhelyezett, számítógépes látást lehetővé tevő kamerákká.

“Ezek a dolgok, mondhatni az elején, egy kényes dolog, és minden elemnek, minden összetevőnek meg kell lennie ahhoz, hogy sikeresek legyenek” – mondja Rockwell.

“Néhány év múlva ez is egy olyan dolog lesz, ami nélkül már nem is emlékszünk az életünkre, akárcsak az internet” – teszi hozzá. “Úgy fogod érezni, hogy hűha, ezt rendszeresen használom… egyszerűen beépül az életünkbe.”

Első közzététel: 2020. november 20., 4:00 PT.