Někdy v blízké budoucnosti Apple údajně představí náhlavní soupravu pro rozšířenou nebo smíšenou realitu. Apple zatím o žádných náhlavních soupravách nehovořil. Rozšířená realita však na iPhonu žije – a jen se zlepšuje. Hloubkový senzor lidar od Applu (dostupný v iPhonu 12 Pro a nejnovějších iPadech) s pokročilými možnostmi 3D skenování se v mnoha ohledech jeví jako páteř náhlavních souprav Apple budoucnosti.

Apple začal svou cestu rozšířenou realitou v roce 2017, kdy se prosadil virtuálním nábytkem Ikea a realisticky vypadajícími venkovními bitvami ve hře Pokemon Go. Letos jsem s novým iPhonem 12 Pro od Applu stál na rohu ulice a skenoval požární hydranty. Mapoval jsem interiér svého domu. Pohyboval jsem se po lávových řekách na svých podlahách.

Facebook, Microsoft a Magic Leap už zkoumají brýle a brýle, které mají za cíl spojit virtuální a reálné, a v budoucnu přijdou další headsety využívající čipy Qualcomm. Podle Mika Rockwella, vedoucího oddělení AR ve společnosti Apple, a Allessandry McGinnisové, hlavní produktové manažerky pro AR, je však v současné době posláním společnosti Apple zlepšit fungování všeho na zařízení, které již máte v kapse. Vrstvení AR na místa v reálném světě a automatické vyskakování zážitků při vytváření kreativních nástrojů a vývoji asistenčních technologií založených na schopnostech AR by se z dlouhodobého hlediska mohlo stát největšími killer aplikacemi.

„AR má obrovský potenciál být lidem užitečná v jejich životě napříč zařízeními, která existují dnes, a zařízeními, která mohou existovat zítra, ale musíme zajistit, aby byla úspěšná,“ říká Rockwell. „Pro nás je nejlepším způsobem, jak toho dosáhnout, umožnit ekosystém našich zařízení tak, aby byl zdravým a ziskovým místem, kam budou lidé investovat svůj čas a úsilí.“

Rockwell a McGinnis se mnou také hovořili o tom, co je nyní jinak než před třemi lety a proč jsou telefony tak důležité pro to, co přijde příště.

Zabijácká aplikace AR společnosti Apple: Ačkoli se kvalita náhlavních souprav pro virtuální realitu, jako je Oculus Quest 2, neustále zlepšuje, ve srovnání s telefony je stále používá málo lidí. „Nikdo ve skutečnosti nemluví o číslech“ prodaných náhlavních souprav VR s výjimkou společnosti Sony, která dosud prodala 5 milionů náhlavních souprav PlayStation VR, říká hlavní analytik spotřebitelských čipů Anshel Sag ze společnosti Moor Insights, ačkoli „existuje vysoká pravděpodobnost, že by se během prvního roku mohlo prodat 5-6 milionů náhlavních souprav“. Ale i pak tyto VR headsety používají aplikace, které jsou obvykle pocitově vzdálené od telefonů a počítačů, které používáme každý den. Náhlavní soupravy pro rozšířenou realitu zatím neexistují v žádném významném počtu, a to ani několik let poté, co Magic Leap a HoloLens od Microsoftu slibovaly brzkou budoucnost smíšené reality.

„Pro vývojáře, kteří se zabývají pouze VR nebo se snaží dělat pouze zážitky pro rozšířenou realitu, to byla docela těžká cesta,“ poznamenává Rockwell. „Prostě jich není tolik.“ Přitom samotné počty iPhonů a iPadů s podporou AR od společnosti Apple z roku 2017 se počítají na stovky milionů. „I když oslovíte jen relativně malé procento, pořád je to gigantické číslo.“

Apple tvrdí, že už existuje 10 000 aplikací pro iOS s podporou AR od 7 000 vývojářů, přičemž mnohé z nich se zaměřují na nakupování nebo domácí kutily jako způsob praktického využití AR v domácnosti. Praktičnost je přesně to, o co se Apple v tuto chvíli zřejmě nejvíce snaží. „Chtěli jsme vývojářům poskytnout platformu a ekosystém, kde by se mohli uživit,“ říká Rockwell.

Zatímco pandemie COVID-19 zastavila fyzické obchody a zpomalila cestování většiny lidí, nakupování v domácnosti pomocí nástrojů AR je nyní hlavní součástí zaměření společnosti Apple. Stejně jako Google a Microsoft usilují o způsoby, jak si doma na telefonu zobrazit věci, které byste si mohli chtít koupit, ve 3D pomocí nástrojů pro rozšířenou realitu na telefonu, vypadají háčky společnosti Apple do jejího prohlížeče Safari umožňující vyskakovací nákupy v rozšířené realitě jako náhrada za chození do obchodů.

„Home Depot zjistil, že lidé mají dvakrát až třikrát větší pravděpodobnost konverze, když si prohlédnou produkt v rozšířené realitě, než ostatní, kteří si ho neprohlédnou,“ upozorňuje McGinnis a cituje čísla společností Shopify a Build.com, která ukazují větší pravděpodobnost nákupu (94 %) a o 22 % nižší míru vrácení zboží.

Vývojáři aplikací včetně společnosti Adobe, která vyrábí kreativní aplikaci AR Aero pro Apple iOS, zřejmě vidí AR v telefonech stejně. „Headsety jsou na našem plánu, Žádný z nich nedosáhl kritického množství, které by pro nás mělo smysl nasadit,“ říká Stefano Corrazza, vedoucí oddělení AR společnosti Adobe, k tomu, proč společnost nezkoumala kreativní nástroje pro headsety nad rámec akvizice aplikace Medium od společnosti Oculus: „Dokud nám Apple nebo Google něco nepředloží v širokém měřítku, nemá pro nás velký smysl to prosazovat.“

Do té doby mohou být primárními kreativními nástroji chytré telefony, jako je nový iPhone 12 Pro za 999 dolarů, které budou později navazovat na headsety. „I s náhlavní soupravou bude telefon místem, kde se odehrávají všechny výpočty,“ říká Corrazza. „A do brýlí můžete potenciálně streamovat.“

To je stejný model, na kterém už Qualcomm staví i pro budoucí AR/VR zařízení, ale může to trvat roky. Mezitím jsou tu telefony. „Po nějakou dobu to bude primární zařízení pro konzumaci,“ říká Corrazza o iPhonu 12 Pro, „ale také pro skenování a 3D obsah, je to velmi výkonný stroj.“ Adobe zatím nástroje pro 3D skenování v Aeru nepoužívá, ale možná zkoumá způsoby, jak tyto funkce později začlenit.“

Lidar jako krok k AR jako kreativnímu nástroji

První kroky Applu v oblasti AR vedle iPhonu 8 právě rozpoznávaly podlahy pomocí pohybových senzorů, gyroskopů a vestavěné kamery telefonu. Poté rozpoznával stěny a lidi. iPhony a iPady s technologií Lidar, které neviditelně rozprašují soustavu infračervených laserů z malého černého kruhu poblíž zadních fotoaparátů, jdou o významný krok dál tím, že rychle síťují (mapují ve 3D) všechny rozměry místnosti. To zahrnuje i 3D objekty a osoby v prostoru. Jedná se o evoluci typu technologie, kterou Google zkoumal před lety s řadou telefonů Tango s hloubkovým snímáním, ale v pokročilejším a rozšířenějším měřítku. Mnoho prvních aplikací využívajících lidar, jako jsou Polycam, 3D Scanner a Record 3D, je velmi kreativních a zaměřených na snímání 3D, což je velký posun od aplikací AR, které v roce 2017 vyvolávaly dinosaury a hrály hry.

„To je jeden z důvodů, proč jsme tento skener do zařízení umístili. Měli jsme pocit, že jde o klíčovou technologii, která může otevřít explozi 3D aktiv, jež lze využít pro nejrůznější věci,“ říká Rockwell. „Otevírá také možnost začít určitým způsobem skenovat prostředí a být schopen usnadnit vytváření 3D objektů.“

Jedna z největších úložišť 3D objektů na internetu, Sketchfab, již nyní zaznamenává nárůst navzdory letům předchozího zkoumání 3D skenování před tímto. Sketchfab právě dosáhl 4 milionů předplatitelů a má za sebou první ziskový měsíc od zahájení provozu služby v roce 2012.

Jak ale říká generální ředitel Sketchfab Alban Denoyel, zažil už předchozí období, kdy očekával boom 3D objektů. Když v roce 2016 debutovaly náhlavní soupravy VR spolu s několika telefony Google Tango s 3D skenováním, byl kolem toho velký humbuk. K přijetí na trhu však nedošlo, což vedlo k tomu, co Denoyel nazývá „VR zimou“. Nyní se možná konečně zvedá.

Snapchat už zkoumá využití lidaru pro efekty AR, které mohou virtuální věci umístit do reálného světa, a dokonce má rozsáhlejší experimenty se skenováním celých městských bloků. „Na hloubku se díváme jako na něco velmi zásadního,“ říká viceprezident platformy fotoaparátů Snapchatu Eitan Pilipski.

I přes tyto možnosti však zjišťuji, že naučit se tyto nové nástroje používat může být skličující. Vlastní nástroj pro tvorbu AR od Applu, Reality Composer, a sada kreativních nástrojů pro 3D AR od Adobe, Aero, nejsou nutně aplikace, které si hned stáhnete, a stále je považuji za aplikace, kterým se vyhýbám. Aplikace pro 3D skenování, které jsem zatím vyzkoušel, jsou fascinující, ale také experimentální a ne vždy intuitivní. Apple do značné míry vložil svět aplikací pro 3D skenování do rukou vývojářů, zatímco běžné základní nástroje Apple pro iOS tyto funkce vůbec neobsahují.

Podpora 3D objektů v celém systému iOS od Applu ale naznačuje způsob, jak by se 3D věci mohly časem sdílet podobně jako PDF nebo fotografie. V některých ohledech však kreativní nástroje pro tuto budoucnost ještě plně neexistují.

Možnosti pro fotografování by také mohly být úžasné a vlastní aplikace Fotoaparát od Applu využívá lidar iPhonu 12 Pro k lepšímu zaostřování nočních fotografií a portrétů. Apple však zatím do své aplikace fotoaparátu nezařazuje rozšířenou realitu ani neumožňuje žádné 3D skenování. Tyto nápady necháváme na vývojářích, aby je prozkoumali. Některé aplikace, jako například DSLR Camera, již využívají lidar iPhonu k vytváření vlastních vrstev 3D informací nad fotografickými daty a vrstvení textu ve 3D do fotografií.

„Aplikace dokáže vypočítat segmentaci mezi osobou a objektem v pozadí,“ říká Fulvio Scichilone, tvůrce aplikace DSLR Camera. „Budoucím plánem pro portrét AR … je pohybovat pomocí gyroskopu nebo prstu rámečkem obrázku.“

Rozšířená realita jako rozšířené smysly a nástroj přístupnosti

Apple vidí killer app AR v objevitelnosti, ale přichází další obrovská příležitost pro přístupnost. AR může doslova rozšířit smysly člověka. V oblasti zvuku už Apple používá sluchátka AirPods jako naslouchátka a Facebook zkoumá prostorový zvuk i pro asistenci sluchu.

To samé by mohlo přijít i pro asistenci zraku. Budoucí produkty s asistencí zraku, jako jsou slibované rozšířené kontaktní čočky společnosti Mojo Lens, chtějí být užitečnými nástroji pro osoby se zrakovým postižením. Společnost Apple by se mohla vydat podobnou cestou, pokud jde o fungování rozšířené reality v iPhonu a budoucích zařízeních jako asistenčních nástrojů. Již nyní nová funkce detekce osob v systému iOS 14.2 využívá rozšířenou realitu a lidar společnosti Apple k rozpoznávání vzdáleností od lidí a využívá je pro asistenci zraku v nových iPhonech.

To by mohl být jen začátek. „Je toho mnohem víc, co můžeme udělat, zejména v souvislosti s naším chápáním prostředí, které je kolem nás,“ říká Rockwell. „Dokážeme rozpoznávat lidi, ale když se zamyslíte nad tím, co člověk dokáže pochopit o prostředí, není důvod, aby v plném rozsahu nemohlo tuto úroveň pochopení mít i zařízení a poskytnout ji vývojářům.“

„Budeme spolupracovat s komunitou nevidomých a slabozrakých, abychom se zlepšili právě na straně rozpoznávání lidí,“ dodává McGinnis.“

Budoucí killer aplikace AR: Přestože se AR věnuji neustále, přiznám se, že když používám iPhone nebo iPad v každodenním životě, zapomínám hledat nové aplikace AR. Objevovat novinky ve virtuálním světě, zatímco jsem zaneprázdněn tím skutečným, není bezproblémový proces.

Rockwell vidí budoucnost AR pro iPhone nikoliv jako aplikace, ale jako rychlé okamžiky. „Něco, do čeho se ponoříte třikrát, čtyřikrát, pětkrát, šestkrát denně, abyste mohli dělat různé věci, a jsou to lehké zážitky,“ vysvětluje. „Killer app opravdu spočívá v tom, že se bude používat tak nějak pravidelně a pořád v těchto malých způsobech, které vám pomohou dělat věci, které děláte dnes, a které vám je usnadní a urychlí.“

Cesta k tomu zahrnuje App Clips, nový způsob Applu, jak mít v iOS 14 malé mikroaplikace, které se na iPhonu objeví, aniž byste museli cokoli stahovat. App Clips lze spouštět pomocí značek NFC nebo snímatelných kódů umístěných v reálném světě. Můžu skenovat nebo klepnout a najednou se mi zobrazí rozšířená realita související s místem, kde se nacházím, třeba virtuální menu nebo oživený muzejní exponát.

S tím souvisí i snaha Applu o mapování. Nové Location Anchors od Applu znamenají, že virtuální objekty AR mohou existovat na reálných místech – představ si, že vidíš virtuální umělecké dílo na Times Square – a sdílet je může víc lidí najednou.

„Pokud je to v některé z oblastí, které máme zmapované ve vysokém rozlišení, což je v USA poměrně hodně… pokud je to do jednoho metru, můžete umístit zážitek,“ říká Rockwell o Location Anchors a slibuje lepší úroveň přesnosti určení polohy než GPS. Mezitím klipy Applu, které se spouštějí konkrétními QR kódy nebo kotvami v reálném světě, „mohou mít přesnost až na centimetry.“

Oboje je zatím v rámci snah Applu o rozšířenou realitu ve vývoji: V roce izolace způsobené pandemií může být méně pravděpodobné, že lidé byli na veřejných místech nebo v obchodech či muzeích, kde by se tento typ lokalizační technologie AR mohl objevit. Apple je však považuje za klíčové pro lidi, kteří AR používají na denní bázi.

„Věděli jsme, že tyto problémy musíme vyřešit, aby se AR stala mainstreamovou zkušeností – myslím, že jsme opravdu docela na vrcholu toho, aby se AR pro lidi stala něčím, co je více součástí jejich každodenního života,“ říká Rockwell.

„Můj názor je, že App Clips a Anchors budou mít obrovský význam,“ říká generální ředitel Acute Art Jacob De Geer. Acute Art je aplikace, která již pořádá výstavy rozšířené reality na reálných místech, ale jedním ze současných problémů, které lidem brání toto umění najít, je vědět, že tam je. „Hlavním problémem nejen v AR, ale ve všem, co se teď v technologiích děje, je: „Hej, jak přimět lidi, aby si stáhli vaši aplikaci?“

Další výzvou AR je – ve skutečnosti to není žádná jedna věc. Je to 3D umění? Je to řada nástrojů pro prostorové skenování světa a lepší vnímání všeho? V tomto smyslu je možná AR neviditelná. Možná je to podobná filozofie, jako když Google vnímá AR jako nástroj pro skenování světa.

„Často slyšíme, že lidé používají AR a nevědí, co to je,“ říká McGinnis s odkazem na populární nástroje pro iPhone, jako je okamžité vyzkoušení brýlí s podporou AR od společnosti Warby Parker. „Jak se to stává stále více mainstreamem, nezáleží na tom, jestli víte, že jde o AR, nebo ne. Záleží na tom, že máte v zařízení úžasný zážitek.“

Podklady pro budoucnost se připravují už teď

Zkombinujte 3D skenování založené na lidaru od Applu, stále schopnější nástroje AR od Applu pro realistické zobrazení a k tomu představení prostorového zvuku v AirPodu Pro, který dokáže způsobit, že věci, které posloucháte, zní, jako by se pohybovaly ve 3D prostoru, a není těžké si představit budoucí náhlavní soupravu Apple AR.

Apple se k tomu nechce vyjadřovat. Mezitím se však společnost snaží podpořit vývojáře, aby vytvářeli aplikace připravené pro rozšířenou realitu. A ať už se náhlavní souprava objeví v dohledné době, nebo ne, více prostorově orientovaných iPhonů a iPadů promění telefony v zařízení pro snímání světa s vlastními možnostmi. Nebo třeba i pro robotiku či jako kamery s podporou počítačového vidění na nečekaných místech.

„Tyto věci jsou tak trochu na začátku křehkou záležitostí a musíte tam mít všechny prvky, všechny tyto složky, aby byly úspěšné,“ říká Rockwell.

„Za pár let to bude jedna z těch věcí, kdy si tak trochu nebudete moci vzpomenout, že jste bez toho žili, stejně jako bez internetu,“ dodává. „Budete mít pocit, že to běžně používám… stane se to prostě integrovaným prvkem našich životů.“

Poprvé publikováno 20. listopadu 2020 ve 4:00 SEČ.